贝博网址生物所发现视听整合帮助树蛙识别不完整鸣叫

　　通讯信号的破碎化在自然环境中是常态，例如森林中目标物体经常被部分遮挡，动物的叫声经常被噪音遮蔽或打断。长期的进化和适应，使人和许多动物具有一定的补全残缺信号的能力。当连续的声音被另一个短暂而响亮的声音（譬如咳嗽声）掩盖时，我们的听觉系统会积极填充遮蔽部分，仍然可以将残缺信号感知为一个完整的听觉信号。这种感知修复形式，被称为听觉诱导（auditory induction）或非模态补整（amodal completion）。非模态补整已经在几种动物中被证明，包括一些灵长类和鸣禽（Miller et al., 2001）。在繁殖季节，蛙类的求偶场中充斥着各种遮蔽鸣声信号的声源（同种其他个体鸣叫或异种鸣叫），雌性在选择鸣叫个体作为配偶的过程中面临着诸多挑战。目前，关于无尾两栖类听觉诱导的研究十分有限，尚无研究证明无尾两栖类的鸣声通讯具有非模态补整。我们的野外观察发现，锯腿原指树蛙（Kurixalus odontotarsus）在自然条件下偶尔会发出部分音节缺失的广告鸣叫（图1），可以为研究非模态补整提供理想模型。 

　　

　　图1. 锯腿原指树蛙缺失鸣叫的波形图（上）和窄带语图（下） 

　　

　　图2. 三种鸣声刺激：完整5音节广告呼叫（a），第2个音节缺失的广告鸣叫（b），在第2个音节位置填充白噪音后的广告鸣叫（c）。 

　　当一边播放完整的5音节广告鸣叫，另一边播放第2个音节缺失的广告鸣叫时，64%的雌蛙选择完整鸣叫（图3a）。当在缺失位置填上白噪音后，雌蛙的选择偏好并没有发生改变（图3b），表明锯腿原指树蛙的鸣声通讯不具有非模态补整，即在缺失位置补上噪音无法使缺失鸣叫恢复为完整意义的鸣叫。 

　　

　　图3. 雌性的选择比例。左右两边为成对的实验刺激，中间为选择结果。 

　　在长期复杂的环境压力下，人和动物进化出了整合多种感觉系统进行通讯的能力，即多模通讯（multimodal communication）。我们在交流时会使用声音、嘴型和手势等多模信号，人脑可以从面部表情以及嘴型获取视觉信息（“唇读”，lip-reading），这些视觉信息可以帮助我们识别说话内容。许多动物的求偶信号也包含多种感觉信息。蛙类鸣叫时伸缩的鸣囊与我们的嘴唇类似，鸣囊不仅可以作为声音的放大器，同时可以传递视觉信息（Starnberger et al., 2014）。 

　　

　　图4. 无尾两栖类的鸣囊具有多模态特征（引自文献Starnberger et al., 2014） 

　　视听多模信号的整合方式会影响信号感知的结果，例如著名的麦克格效应（McGurk effect）表明说话时嘴型提供的视觉线索会影响我们的听觉认知（McGurk and MacDonald, 1976）。当一种低吸引力的声音信号和一种低吸引力的视觉信号结合时，雌性泡蟾（Physalaemus pustulosus）会认为这是一种高吸引力的多模信号——“多感觉拯救假说”（the perceptual rescue hypothesis）（Taylor and Ryan, 2013）。我们以前的研究表明，蛙类的视听多模信号能增加雌性的工作记忆，利于雌性做出选择（Zhu et al., 2021）。那么，视听整合能否帮助雌蛙识别缺失鸣叫呢？ 

　　

　　图5. 视听多模信号回放实验场地示意图。两个视听播放装置与被试呈60°夹角，距离1米。视听播放装置可以单独呈现声音、视觉、声音+视觉刺激。用音箱播放雄蛙鸣声，用液晶显示器呈现视觉刺激（动态鸣囊）。 

　　 结果显示，尽管视觉鸣囊显著增加了缺失鸣叫的吸引力（图6c），但吸引力仍然赶不上完整的广告鸣叫（图6d），结果不支持“多感觉拯救假说”。单纯的视觉鸣囊并不能帮助雌蛙识别缺失鸣叫。而当在缺失位置同时呈现白噪音和视觉鸣囊时，缺失鸣叫与完整鸣叫的吸引力相当（图6e），这一结果支持“信号交互作用假说”（inter-signal interaction hypothesis）（Caldart et al., 2021）。 

　　

　　图6. 雌性选择比例。波形图代表声音信号，鸣囊膨大的树蛙代表视觉信号。 

　　 研究还发现，当存在视觉信号时，雌蛙做出选择的时间更短。这将降低雌性在评估配偶过程中被捕食的风险，并暗示视觉线索能够比听觉线索提供更准确的位置信息。 

　　

　　图7. 雌性做出选择所需时间 

　　 当存在视觉鸣囊时，被噪声遮蔽的缺失鸣叫的吸引力与完整鸣叫一样，表明视觉线索可以弥补声音通讯中的噪声干扰。这与人类在语音暂时被噪声掩盖时，可以通过“唇语”来增强语音识别类似。这种多感官信号交互作用可以帮助动物在噪音环境中识别鸣声信号。该研究对揭示动物视-听觉多模信号的功能、人类和动物非模态补整能力的进化有重要意义。 

　　研究结果以“Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog”为题发表在国际学术期刊Behavioral Ecology上。中国科学院贝博网址生物研究所动物行为与仿生项目组特别研究助理朱弼成博士为该论文第一作者，崔建国研究员为通讯作者；海南师范大学汪继超教授、王同亮博士和美国得克萨斯大学Michael J. Ryan教授为合作作者。本研究得到国家自然科学基金（31772464，32001095）、四川省科技创新项目 （2022JDTD0026）、中国科学院青年创新促进会（2012274）和生态环境部生物多样性调查评估项目（2019HJ2096001006）的资助。

　　原文链接 

　　主要参考文献 

　　Caldart VM, dos Santos MB, Machado G. Function of a multimodal signal: a multiple hypothesis test using a robot frog. Journal of Animal Ecology, 2021, 91: 701-714. https://doi.org/10.1111/1365-2656.13620 

　　McGurk H, MacDonald J. Hearing lips and seeing voices. Nature, 1976, 264: 746-748. 

　　Miller CT, Dibble E, Hauser MD. Amodal completion of acoustic signals by a nonhuman primate. Nature Neuroscience, 2001, 4(8): 783-784. 

　　Starnberger I, Preininger D, Walter H？dl. The anuran vocal sac: a tool for multimodal signaling. Animal Behaviour, 2014, 97: 281-288. 

　　Taylor RC, Ryan MJ. Interactions of multisensory components perceptually rescue túngara frog mating signals. Science, 2013, 341(6143): 273-274. 

　　Zhu BC, Yang Y, Zhou Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog. Behavioral Ecology, 2022, arac053. https://doi.org/10.1093/beheco/arac053 

　　Zhu BC, Zhou Y, Yang Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory modalities increase working memory for mating signals in a treefrog. Journal of Animal Ecology, 2021, 90: 1455-1465. https://doi.org/10.1111/1365-2656.13465