机器人的视觉和听觉是环境感知的主要信息来源，视听觉交叉感知技术的研究涉及了生物医学、脑神经科学、机器人智能技术、信息科学等多个研究领域。本文在对人的视听觉交叉感知机制的研究基础上，通过对机器人声源定位系统、机器人视觉的目标检测、识别和双目测距功能实现，设计机器人的视听觉交叉感知模型，实现对环境的视听觉信息感知。

在声源定位方面，研究了基于人的双耳定位模型的时延估计定位算法。传统的时延估计算法模拟了耳蜗内毛细胞的滤波功能以及上橄榄复合体的定位机制，忽略了大脑听觉皮层--下丘通路的反馈机制。在机器人声源定位中，在基于广义互相关定位算法中引入了模拟听觉皮层整合机理的神经网络算法，利用RBF神经网络良好的泛化能力与学习收敛速度，将广义互相关算法得到的声源坐标通过训练好的神经网络进行非线性误差矫正，提高声源定位算法的精度。通过实验验证，改进的声源定位算法在满足时间复杂度情况下，精确度得到一定的提高。

在视觉感知方面，仿照人的两条视觉通路，设计机器人的视觉感知模型。在what通路，对基于视觉感知机理的HMAX模型以及改进模型进行详细分析并抽象出特征模型，针对存在的计算时间复杂度高，识别率低的缺陷，提出改进的视觉感知模型，包括机器人的目标检测和目标识别。在目标检测方面，根据HMAX模型分层介绍检测算法，实现目标的快速准确检测。在S1层滤波器的选择，小波替换Gabor滤波，然后在C1层利用SVDP特征提取算法替换最大化模板方法，在VTU识别层利用稀疏表示的分类算法。实验验证目标识别算法的鲁棒性；在where通路，根据人的视觉空间感知机制，设计机器人的双目测距模型，利用双目摄像头的焦距和三角定理实现视野内目标的定位。最后，通过仿真实验验证算法的有效性。

机器人视听觉交叉感知机制，主要应用到目标的空间定位功能，针对空间内的物体，融合听觉和视觉完成空间位置的感知。利用仿真实验，验证本论文提出的机器人注意机制能够实现空间目标的感知。

随着现代工业的迅速发展和技术的革新换代，人类对机器工业的需求变得越来越大，迫切要求技术的不断发展和创新。在这种工业发展的促使下，机器人的发展也从传统的工业领域向其他领域进行延伸和扩展，比如军事、医疗、救险等行业^[1]。同时，类人化已经成为智能机器人发展的必然趋势。类人机器人是具有思维感知和人工智能，微电子学，光学，传感技术、材料科学、仿生学等学科的综合成果。人类不仅希望机器人能够使人类从繁重、危险的工作中解脱出来，更希望机器人能具有人类的思维感知能力去识别所处环境并且可以解决问题。面对瞬息万变的周围环境，类人型机器人需要更加智能化的信息处理能力和适应能力。

随着人们对计算机视觉的研究深入，一些视觉系统被应用到移动机器人上提高机器人环境感知的能力。机器人的视觉技术通过视觉来进行环境的探测，比如视觉导航^[2]和目标侦测等^[3]。但视觉技术总会受到光照、遮挡等因素的干扰，将会很大影响识别的结果。为了降低视觉的影响因素，仿真人类的听觉系统，研究了机器人的听觉技术，为机器人感应外界环境提供了巨大的帮助。听觉技术不会受到阻挡等因素的干扰，会通过声音采集装置对外界环境中声源进行探测，实现对环境的感知。但在感知外界环境过程中，目标并非全部都会发出声音。除此之外，声音中掺杂的噪声会很大程度上影响识别的效果^[4,5]。因此，机器人无论是通过单一的视觉信息还是听觉信息都会遭受各种因素的影响，从而降低了机器人感应外界环境的能力。

智能化的机器人不仅需要对外界环境中的突发情况出快速的响应，即要求对传感器数据要有很强的信息处理能力，而且要对环境中的多种信息进行融合判断，进行智能化的处理，这就是多传感器信息融合技术的范畴。机器人通过多传感器对环境中的多种信息进行融合处理是智能化机器人的研究发展方向。仿大脑皮层信息处理的多传感器信息融合技术不但弥补了单一传感器提供信息有限和多个传感器简单组合所固有的局限性,还能采取融合策略从传感器数据提取更多的信息，因此在机器人的智能化方面得到广泛的研究。

经过科研人员对神经科学、生物医学和解剖学不断研究，脑科学取得巨大的发展。一方面深入了解人脑的高级功能对自身的发展起源以及弄清楚意识与物质的关系，都有十分重要的意义^[6]。另一方面脑科学研究的成果也会为新的技术发展和创新提供重要理论支撑，促使传统人工智能突破发展的瓶颈问题。一些研究学者开始将脑科学的研究加入到机器人智能化研究，使得智能化机器人思维与人的思维相拟合，处理过程更加接近人类的神经活动。人类感知周围环境过程中，大脑皮层整合的环境信息大部分来源于视听觉系统。视听觉信息整合脑机制的研究作为脑信息的重要研究内容，得到了学者的广泛关注。人脑的视听觉信息整合加工处理是非常复杂的过程，受到注意、空间、时间等很多因素的影响。视听觉信息整合的脑机制研究，对多传感器数据的融合、智能机器人、人机交互技术发展都有重要意义^[7]。作为机器人周围环境最直观的表现形式，视听觉信息处理能力显著影响着机器人环境感知能力。机器人的视听觉交叉感知技术的研究对智能机器人的发展以及多传感器的数据融合技术具有重大的理论意义^[8,9]。综上可知,机器人的视听觉交叉感知技术有很大的理论研究意义和应用价值。

机器人视听觉研究现状

机器人的发展始于上世纪60年代，第一代是工业机器人，从此开启了机器人的研究历史。机器人的研究最初是从美国兴起，在欧洲各国对机器人的研究逐步发展起来。工业机器人的迅速发展是在二次大战后，各国迫切需要加大工业、制造业生产，来满足人们的生活需求。现阶段是机器人发展的第三代，其智能化和类人化是当前机器人研究的主要表现。虽然机器人的思维越来越接近人的思维，但在面对复杂环境下依然无法达到人的决策能力。第三代智能机器人的研究，它不仅具有感觉能力，而且还具有独立判断和行动的能力，并具有记忆、推理和决策的能力，因而能够完成更加复杂的动作。根据服务类型和应用场所的不同，机器人在国防、体育、生物医学、生活服务等领域得到广泛的应用^[10-13]。

1）机器人视觉研究现状

机器人的视觉技术研究作为智能机器人领域一个分支，在机器人的研究和应用中占有十分重要的地位,对机器人的智能化发展起到决定性作用。机器人的视觉系统多用于导航，避障等:Trahanias^[14]等通过视觉识别在学习阶段自动抽取的自然路标来实现机器人导航功能。AlbertoBroggi^[15]等人利用携带有立体摄像机的移动机器人进行障碍物的检测，检测算法利用两侧的摄像机实时获取视觉图像，然后通过图像中物体坐标与摄像机的坐标系确定障碍物相对应机器人的位置，来感知视野内的目标。Stanley^[16]等提出了一种基于神经网络的视觉导航技术。该技术中利用神经网络对输入图像进行压缩并且估算逆雅可比矩阵。它根据图像特征的变化来估算机器人的位置，实现机器人的视觉导航功能。日本东京大学通过双目立体摄像机与机器人自身的姿态位置改变相融合，确立变化的坐标系，实现移动机器人的自动导航功能。

2）机器人听觉研究现状

作为机器人听觉感知的主要用途，声源定位的研究方向可分为基于麦克风阵列模型和人耳听觉机理两个方面。而麦克风阵列模型的研究方法以其简单易操作性，一直是研究主流。Tadawute^[17]等开发了声源定位系统用于机器人的导航，声源定位方法是基于人类听觉系统的优先效应模型来应对回声和混响。机器人利用声呐系统对障碍物进行检测，能够处理光线不好、突发事件，躲避前后的障碍物。2006 年日本的HONDA研究所通过将室内麦克风阵列和机器人头部的麦克风阵列联合实时跟踪多声源^[18]。室内麦克风阵列是将室内四周固定的麦克风获取信号，通过加权时延-累计波束成形方法对声源进行定位，提高传统时延估计定位法的准确度。机器人头部安装的麦克风阵列是由八个方向的麦克风组成，其方位角的定位是通过自适应波束成形器法来获得，比非自适应系统取得更好的性能。

3）机器人视听觉交叉研究现状

为了使机器人更好的检测环境，研究者们将多种传感器应用到机器人上，称为多传感器信息融合技术。在火星上从事科学考察工作的第一台机器人车辆Sojournet，是一辆自主式机器人车辆，携带有多种传感器。它通过远程遥控，将拍摄到的图像传送到地球，并且在火星表面上一定范围内自由活动，对火星的岩石和土壤进行深入的探测，让人们第一次对火星有了非常细致和全面的了解。日本丰田公司研制的一款智能化仿生机器人ASIMO，其身体内部装有许多传感器，头部安装的立体相机能够从图像信息中检测出移动的物体,并且识别对方的距离与方向。根据这一功能,实现跟踪人体。除此之外，多传感器的信息融合,实现了行走、爬楼梯、辨别声音的功能。一个由日本科学家领导的研究小组成功研制出一种新型机器人“RI-MAN”，这种机器人主要用途是协助照看行动不便的老年人或残疾人。机器人除了具有运动能力之外，还具备了环境感知的能力，如对被看护人的视觉、听觉以及嗅觉等信息敏感。机器人的周身安装了可显示一个人重量和方位的传感器。它还能辨别八种不同气味，分辨声音来源方面，通过视觉能力跟随人的面孔移动。未来能够使机器人通过呼吸来判断护理对象的健康状况，以完成看护对象的人性化智能化的保护。

我国开始涉足机器人领域的研究是从20世纪80年代开始的，相对西方国家和日本来说起步较晚，但是仍然取得可观的成就。国防科技大学设计的一款仿人型机器人“先行者”。这个机器人具有类同人一样的身躯，拥有脖子、眼睛、双臂与双足等器官，还具备语言功能，能够快速自如的动态步行，并且能够在小偏差、不确定环境中行走。在机械结构、控制系统结构、协调运动规划和控制方法等关键技术方面取得一系列突破，真正成为我国机器人研究走向新世纪的“先行者”^[19]。Lv等人设计了一款视听觉信息用于声源定位的系统。该系统首先利用基于麦克风阵列的声源定位技术获取声源的方向，然后通过旋转机器人头部从摄像头获取视觉信息，当被检测目标在机器人视觉范围内时，它可以通过视觉信息来局部精确地定位^[20]。许多高校比如哈尔滨工业大学、北京航空航天大学、河北工业大学等科研机构在机器人发展的推动下，也进入到研究机器人的领域中来，并取得一定的科研成果，促进了我国在机器人领域的发展。

随着机器人科技的不断发展，传统机器人智能化技术遭受了发展的瓶颈问题，因此许多研究学者开始转向人类大脑与认知科学的研究，从人脑认知活动机制中寻求答案，将大脑的多信息整合机制促进机器人的智能控制的发展。但迄今为止,认知神经科学形成的历史比较短暂,对作为全人类共性的脑高级功能多重系统的研究,才刚刚拉开序幕。因此，机器人能够具有类人的感知和认知能力是一个漫长的阶段，还需要研究者们共同的努力。