撰文 | 阿娴

审校 | Skin

你也是“一定要看着字幕才能理解演员的对白，没有字幕就看不下去电视剧”的人吗？

遇到音画不同步，字幕总是比演员口型慢一句的电视剧或者电影，总是难受地无法继续看下去......这是为什么？

图源gifer

1976年，英国心理学家哈利·麦格克（Harry McGurk）与约翰·麦克唐纳（John MacDonald）在进行一项语音知觉的实验中，无意发现了一个奇怪现象。

通过让婴儿观看一位母亲说话的影片，同时搭配该位母亲的配音，这项语音知觉实验可以记录不同月龄的婴儿对于语音的反应。但在一次实验中，播放影片的画面和声音并未同步，使得影片中说话者唇形为“ga”，却播放出“ba”的声音。神奇的是，麦格克与麦克唐纳却听到了第三种语言，既不是“ga”和“ba”，而是“da”。

你也试试看？｜YouTube

其实，当一个人说话的声音与唇形变化不一致，我们会产生的错听的现象并非个例。两位心理学家据此招募了更多受试者参与研究，结果发现高达98%的受试者在唇形为“ga”、播放声为“ba”的情况下都听到了“da”的声音。

研究人员还将两种声音对调，让视频中的人的唇形发“ba”，却播放“ga”，结果是约有54%的受试者都听到了第三种声音——“gabga”或“bagba”。
 

图源参考资料[2]
 

在我们的认知里，耳朵负责“听”东西，眼睛负责“看”东西，看上去它们好像是独立工作、没有联系。实际上，听觉与视觉之间会协同工作，帮助我们理解这个世界。
 

比如你有没有经历过，和一个近视的朋友准备聊天时，突然被他打断：“你等一下，我没戴眼镜听不清……”

图源网络

在上述的实验中，由于视觉接收到的信息和听觉接收到的信息不一致，视觉信息会影响听觉信息，致使人听到错误的第三种声音，这个现象称为麦格克效应（McGurk effect）。

研究人员猜测，可能是因为“ba”和“da”的声音轮廓相似，更具体地说，它们的第二共振峰相似。“da”的第二共振峰部分（下图以蓝色突出显示）的频率位于“ba”和“ga”之间。且在视觉领域，“ga”和“da”的嘴型相似，因为这两个音节的嘴都稍微张开（见下图）。当大脑接收到相互冲突的听觉和视觉输入时，它似乎“自作聪明”地找到了一个可以解释这种冲突的中间答案——da。

但是，这一理论却无法解释将两种声音对调的实验结果。

图源参考资料[2]

近年来，研究人员对麦格克效应不断深入研究，结果发现：与他人对话时，耳朵会将接收到的刺激（语音）传递至大脑的初级听觉皮质（下图蓝色A1区域），双眼接收到的刺激（比如对方嘴唇变化、面部表情、手势）则会传递到初级视觉皮质（下图V1区域），这两个区域会将信息进一步传递到颞上沟（STS，下图紫色处）进行整合。
 

图源参考资料[2]

由于音频和视觉信息的整合发生在语音感知的早期，这也使得麦格克效应非常稳定。它和某些视错觉不同，一旦人们“看穿”视错觉的把戏，它们就会崩溃。

然而，那些已经研究麦格克效应二十多年的人，比如美国心理学家劳伦斯·罗森布拉姆（Lawrence Rosenblum）却说：“即便我知道这种现象正在发生，也体验到了这种效应，但我仍然无法自主控制它，但那个不存在的声音依旧会在脑中响起。
 

著名的视错觉试验——赫曼方格。当你注视黑色方格之间的白色空间时，你会发现其他的白色空间都变灰了。｜Wiki

那该效应是所有人都能体验到吗？影响麦格克效应的影响因素有哪些？

研究发现，不熟悉说话者面孔的人比熟悉说话者面孔的参与者更容易受影响。当说话者正在移动或者说话者脸上存在视觉干扰物时，麦格克效应会减弱。与之类似的是，如果听者的注意力转移到触觉上（比如触摸某物）时，麦格克效应会大大减弱。技艺高超的音乐家对麦格克效应大多是免疫的。

麦格克效应的强度也因语言而异。荷兰语、英语、西班牙语、德语、意大利语和土耳其语的使用者比中文和日语使用者更容易体验麦格克效应。或许是出于礼貌，日本人说话一般不会观察直视对方的脸，也就不会观察对方的嘴唇变化。而在面部表情比较丰富，喜欢直视对方的其他国家的人的交流当中，麦格克效应相对会明显一些。除了交流的语言类型、习惯外，如果视觉或者听力受损，麦格克效应也会减弱。

图源gifer

追剧和看电影的过程恰恰就是一种视听整合的展现，我们可以通过字幕来更快地理解演员的对话和剧情。没有字幕，我们就会过度关注演员的口型，如果后期配音与口型不一致，甚至出现了0.01秒的延迟，你可能就会看不下去，甚至浑身难受。

让我们说，谢谢字幕组！

参考资料

[1]https://www.frontiersin.org/articles/10.3389/fpsyg.2014.00725/full

[2]https://www.predictivebrainlab.com/files/theses/Thesis_Claudia_Luettke_2018.pdf

[3]Delbeuck, X., Collette, F., & Van der Linden, M. (2007). Is Alzheimer’s disease a disconnection syndrome?: Evidence from a crossmodal audio-visual illusory experiment.  Neuropsychologia,  45 (14), 3315-3323.

[4]https://bigthink.com/thinking/mcgurk-effect-perception/

[5]https://www.simplypsychology.org/mcgurk-effect.html

[6]https://threatenedtaxa.org/index.php/JoTT/article/view/498/844

本文经授权转载自微信公众号“把科学带回家”。