麦格克效应让口型改变听到的音节

声音没有更换,换个口型却可能听出另一个音节。麦格克效应揭示了视觉对语音判断的参与,也提醒我们别把一次错觉当成听力或沟通能力测验。

声音没有更换,换个口型却可能听出另一个音节。麦格克效应揭示了视觉对语音判断的参与,也提醒我们别把一次错觉当成听力或沟通能力测验。

同一段声音可以有不同听法

看一段说话视频时,如果有人坚持听到“ba”,另一个人却说是“da”,先别急着把分歧归因于谁没认真听。某些特意让口型与音轨不一致的材料,确实能使人报告不同的音节。画面遮住以后,听感还可能改变,尽管播放器发出的仍是同一段声音。

这种现象通常称为麦格克效应。它关心的是“说了什么音节”,与腹语效应中“声音好像来自哪里”的位置偏移不同。这里变化的是对语音身份的知觉判断,录音文件里的声音并没有被眼睛改写。[1]

口型怎样参与了音节判断

McGurk 和 MacDonald 在 1976 年报告,把说“ba”的声音配到发“ga”的口部运动上,一些成人会报告听到“da”。这个答案既不同于单独的声音,也不同于画面所对应的音节;只听音轨或观看未经错配的影片时,参与者能报告原来的音节。[1]

说话时的嘴唇和面部动作也携带发音信息。听者辨认语音时会利用这些线索;当视觉与听觉提示互相冲突,最终的音节知觉可能受到两者共同影响。因此,把这件事概括成“眼睛总能压过耳朵”并不准确。图中的字母只用来标记研究材料,默读它们不会产生同样的视听体验。[1][2]

录音 ba 与画面口型 ga 共同影响音节判断,部分参与者报告 da;箭头表示知觉关系而非声波变化。

图 1 经典的不一致音画组合示意。有些人报告的音节不同于两个输入,原音轨仍保持不变。

先播放真实视频再比较

美国电信科学研究所 ITS 提供了自己制作的麦格克效应演示视频,可从文末演示来源打开。用舒适音量听同一小段,先看说话者的口型,再重播并暂时遮住视频画面,分别记下听到了什么。比较时保留原来的音轨、音量和播放速度,避免同时改变多项条件。[4]

不必努力听出某个指定答案,也不需要把循环次数变成成绩。这个演示的素材与 1976 年原始影片不同;它让人观察的是,看不看口型时,自己的报告有没有变化。没有变化也可以如实记录。

比较时也可以留意,改变的是你听成了哪个音节,还是只是觉得声音位置换了。前者才对应本文的问题。若画面卡顿或声音断续,先恢复正常播放,再描述体验;播放故障不应与研究材料中的视听冲突混为一谈。

两次播放相同音轨,一次看口型,一次遮住画面,分别记录所听音节,不预设回答。

图 2 比较同一小段视频在看见与遮住画面时的听感,音轨保持不变。实际体验需要播放演示视频。

没有听出错觉也不能给自己打分

Basu Mallick 等人用 12 段材料测试了 165 名英语使用者,发现不同参与者、不同视频之间都有很大差异。后续实验还发现,给定选项作答与自由报告,会改变记录到的错觉出现频率。所以,一段网络视频配上几个答案,远不足以概括一个人的视听整合情况。[2]

这种差异也不只是毫无规律的偶然。在一年后的复测中,部分参与者的反应仍较稳定。需要同时保留这两点:实验里可以研究稳定差异,个别视频却不能直接成为个人能力标签。[2]

看口型的帮助不能由一次错觉推算

日常交谈通常有完整句子和一致的音画,实验中的冲突音节则刻意制造了另一种处境。Van Engen 等人让 39 名年轻英语母语者完成麦格克任务,并识别噪声中的句子;在这项研究里,容易出现错觉的人,并没有显著地更善于利用画面理解句子。[3]

这也提醒我们保留正常交谈中的另一面:当音画内容一致时,看见说话者可以帮助识别噪声中的语句。遮住画面在演示中只是暂时拿走视觉线索,不能据此推出平时闭眼听话更可靠。冲突材料中的音节融合,与完整句子中的视觉帮助,需要各自测量。[3]

因此,视频里“中招”或“免疫”,都不足以说明平时沟通更好。遇到语音会议听不清、配音与口型不合时,可以把问题拆开:实际音轨是什么,画面提供了什么线索,关键内容是否需要对方再说一遍。重要名字或数字可用文字确认;无需拿一次含混的听感互相争论谁的耳朵更可靠。

参考文献

[1] Harry McGurk; John MacDonald (1976). Hearing lips and seeing voices.

[2] Debshila Basu Mallick; John F. Magnotti; Michael S. Beauchamp (2015). Variability and stability in the McGurk effect: contributions of participants, stimuli, time, and response type.

[3] Kristin J. Van Engen; Zilong Xie; Bharath Chandrasekaran (2017). Audiovisual sentence recognition not predicted by susceptibility to the McGurk effect.

[4] Institute for Telecommunication Sciences, NTIA (未标年). McGurk Effect 官方视频演示.

Leave a Reply

Your email address will not be published. Required fields are marked *