很多时候我们需要判断信号的方向,例如定位违章鸣笛的车辆或用雷达探测目标轨迹等。一般来说,我们的接收器只是接收信号的强弱,无法直接判断方向。为了判断方向,需要有更多信息。对我们人来说,我们利用了空间和频率两种信息:首先,我们有两个耳朵,不同方向的声源到达我们双耳的时间和压强都有所不同,基于此可以判断声音的前后左右(水平定位);同时,我们的耳廓有特殊的结构,这些结构对不同方向来的信号具有特定的频率响应,这可以让我们进一步分辨不同方向的声音,特别是声音的上下方位(垂直定位)。利用这些信息,人类能达到2度左右的水平定位和3.5度左右的垂直定位[1]。
蝙蝠有更强的听声辨位能力。实验表明,蝙蝠通过接收自己发出的超声波,可实现1.6度的水平定位和3度的垂直定位。2021年4月15日Nature-Machine Intelligence杂志发表了一篇论文,认为蝙蝠的耳朵之所以这么灵敏,一个主要原因在于它们的耳朵可以动,动起来的耳廓对声源产生了相对速度,进而形成了所谓的多普勒效应。如果我们站在一列迎面开来的列车前,会感到火车的汽笛声会变得尖锐;反之,如果列车远离,汽笛声会变得低沉。相对速度会引起接收到的声音发生频率偏移,这就是多普勒效应。蝙蝠的耳朵里同样产生了多普勒效应,特别是,在耳廓的不同位置相对速度不同,形成的多普勒偏移也不同。蝙蝠通过解析在耳廓不同位置的反射信号形成的多普勒偏移,可实现非常精准的声源定向。图1是在蝙蝠耳廓的不同位置形成的多普勒频率偏移。
图1:蝙蝠耳廓上的多普勒偏移[2]
研究者利用这一特性,研制成功了一款仿生耳朵,如图2所示。这款耳朵模拟蝙蝠耳廓的结构,并利用马达牵动耳廓产生周期运动以模仿蝙蝠的耳廓运动能力。利用这款仿生耳朵接受不同方向的超声波,得到如图3所示的信号。可以看到,不同方向接收到的信号确实是不同的。然而,要从这些信号中解析出方向,还是非常困难的。
图2:模仿蝙蝠的仿生耳[2]
图3:仿生耳接收到的不同方向的信号
为解决这一问题,研究者提出用深度卷积神经网络(CNN)来“端到端”地预测信号方向。他们将仿生耳接收到的原始信号提取频谱之后输入到一个CNN,利用CNN强大的学习能力学习信号中和方向相关的显著特征,并利用这些特征来预测信号的方向。虽然CNN并不知道多普勒效应是什么,但它确实学习到了信号频谱和方向之间复杂的非线性关系。实验表明,只用一只耳朵,这一方法即可实现0.5度的定位精度,不仅超过人耳,而且超过了蝙蝠的精度。
参考文献:
[1] Middlebrooks, J. C. & Green, D. M. Sound localization by human listeners. Annu. Rev. Psychol. 42, 135–159 (1991).
[2] Yin, X., Müller, R. Integration of deep learning and soft robotics for a biomimetic approach to nonlinear sensing. Nat Mach Intell (2021). https://doi.org/10.1038/s42256-021-00330-1
By:清华大学 王东