声音为什么像从画面里传来？腹语效应怎样影响声源定位

扬声器放在屏幕旁，人物的声音却像从嘴边传来。腹语效应揭示了视觉怎样参与声源定位，也提醒我们区分实际发声位置与主观听到的位置。

扬声器在旁边声音却像来自人物

看电影时，画面里的人物张口说话，我们往往把声音与那张脸连在一起，很少持续注意扬声器装在哪里。即使画面中的嘴与真正的发声设备存在位置差，声音也可能像是从人物那里传来。这个熟悉的观影现象，可以帮助我们理解腹语效应。[1]

腹语效应指的是，视觉线索让人感知到的声源位置向可见物体偏移。舞台上的木偶嘴巴与说话节奏配合时，也能形成类似体验。发出声波的仍是表演者或播放设备，变化发生在我们对“声音从哪里来”的判断中。偏移可以只有一部分，无须完全落到看见的位置上。

图 1 可见角色的位置可能牵引声源定位。箭头表示知觉偏移，扬声器和声波来源没有改变。

听觉与视觉都能提供位置信息，但各自的精确程度会随条件变化。Alais 与 Burr 让参与者判断短促声音和光斑的位置，并改变光斑的模糊程度。视觉位置比较清楚时，视听共同出现的事件更容易被定位到视觉一侧；光斑十分模糊时，声音对定位的影响反而更大。[1]

这项实验支持一种解释：位置判断会综合不同感官的线索，更可靠的线索通常获得更大影响。这里的“可靠”指在任务中定位的精确程度，不能简单理解为某个人是否自信，或主观上是否更相信眼睛。

因此，“视觉总能压过听觉”过于绝对。图像清晰度、声学条件与任务要求不同，感官之间的影响也可能改变。图 2 只展示这种定性关系，不能拿来计算某个人的视觉或听觉占比。

图 2 两种感官对位置判断的影响会随线索精度改变。此图为定性示意，无实验数据或固定权重。

我们也不会把眼前所有东西都当作声源。屏幕里的人在说话，旁边的手机突然响起提示音，通常仍能把两件事分开。一个重要问题是，视觉和听觉线索是否像来自同一个事件。

Körding 等人的实验让声音与视觉刺激出现在不同位置。结果显示，视听位置差异较大时，视觉对声音位置的牵引会减弱。研究者用“共同来源”与“不同来源”的推断模型解释这种变化：感知既考虑每条位置线索，也考虑它们是否应被合在一起。[2]

这能解释腹语表演为什么重视嘴部动作与声音的配合，也说明不能只凭一张木偶照片就制造同样体验。模型有助于描述实验结果；它并不意味着人会在脑中有意识地列出概率、完成计算。

腹语效应主要回答“声音在哪里”。另一个常见的视听现象麦格克效应，关注“听到了什么音节”：把一种发音的声音配上不一致的口型，听者有时会报告另一种音节。[3] 两者都涉及视听相互作用，但判断对象不同，不能用一个名称包办所有“看着听”和“闭眼听”的差异。

理解腹语效应后，排查视频会议或家庭播放设备就多了一个角度。声音似乎贴着画面，并不能证明扬声器位置、左右声道或音画同步已经正确。可以检查设备设置，分别播放左右声道的测试音，再核对真正发声的设备。

想看一个更直接的例子，可访问庞培法布拉大学多感官研究组的腹语效应演示，按页面说明比较看画面和不看画面时的声源位置体验。使用耳机时让左右声道对应，保持舒适音量。[4]

本文两张静态图只解释线索关系，不能播放或重现错觉。体验强弱也不能衡量感官好坏。腹语效应有趣的地方，在于日常听见的“位置”包含了视觉提供的信息，而我们通常很难察觉这一步整合。