基于视听融合的说话人定位与跟踪技术旨在通过对多模态传感器获取的视听数据进行综合分析以连续地定位场景中移动说话人的空间方位。该技术是人机交互的关键技术之一，也是计算机视觉与听觉等多领域交叉融合的重要研究课题。在实际应用场景中，说话人定位与跟踪面临着环境复杂性和传感器局限性的影响，例如，视觉易受光照变化、视野有限等因素的影响，听觉易受环境噪声、房间混响、间歇性语音等因素的干扰。视听融合技术通过克服模态间的异质性差异，挖掘多模态特征的相关性，并利用不同模态数据的互补信息，提高复杂动态场景的适应性，实现更高精度的定位与跟踪。因此，本书以视听融合为核心，围绕说话人定位与跟踪任务开展深入研究。针对多模态异质性数据的融合问题，本书介绍了一种包含音频层和视频层的双层粒子滤波模型。该模型通过分层结构增加粒子的多样性，并在粒子滤波的更新和重置步骤中实现视听数据的特征融合和决策融合。该方法通过构建最优粒子集以重置视听粒子的位置，确保粒子的有效性，缓解粒子滤波算法中的粒子退化现象。对于多模态似然计算受观测噪声干扰的问题，本书提出了一种基于深度度量学习的观测模型。该模型使用判别式方法训练孪生网络，用于计算粒子扩散区域和目标模板的相似度，以获得对环境变化感知能力更强的自适应融合因子。实验表明，基于双层粒子滤波模型的视听跟踪器能够有效融合异质性数据中的互补信息。针对不同模态的置信水平度量和跨模态监督问题，本书提出了一种基于自监督多模态感知注意力机制的说话人定位与跟踪方法。首先，构建了一种基于视听空间映射的声学线索，采用成像几何模型将多模态数据映射到共享语义子空间中。然后，提出了一种多模态感知注意力网络来对不同模态的感知权重建模，衡量受噪声干扰的间歇性音频和视频流的可靠性和有效性。最后，设计了一种跨模态自监督学习方法，利用不同模态之间的互补性和一致性对音频和视觉特征之间的对应关系进行建模，以自监督的方式集成了来自音频和视觉模态的丰富的学习信号。实验表明，基于多模态感知注意力机制的融合方法在本质上更接近于人类感官的选择性注意力机制。本书所提出的跟踪算法在模态缺失的场景中展现出准确且鲁棒的跟踪性能。针对多模态多层次信息交互问题，本书提出了一种多人场景下的语义_空间特征融合机制。首先，设计了一个基于视听融合的关键词识别网络，用于提取视听信号中的语义特征编码。然后，通过交叉注意力机制来融合高层次语义特征与低层次空间特征，充分利用多层次特征的优势，提供更多关于跟踪目标的上下文信息。该方法利用卷积神经网络强大的空间特征提取能力和注意力机制的相关性建模能力，在提取细粒度局部特征的同时对多层次跨模态全局信息进行建模，在网络浅层进行模态内特征增强，在网络深层进行跨模态信息交互。实验表明，该方法在存在无声参与者的多人场景中能够有效提取有区分性的融合特征。针对多模态多目标数据关联问题，本书提出了一种基于唤醒词线索增强的多说话人声源定位与跟踪算法。首先，本书设计了基于注意力机制的活跃说话人检测模块和唤醒词线索提取方法，从音视频数据中提取唤醒词线索用于跟踪器的激活与初始化。在听觉特征提取过程中，本书将唤醒词线索中的语音活跃度作为先验信息来增强视觉引导的声学图谱中与当前说话人目标相关的特征分布，实现多模态数据关联。此外，本书在跟踪网络中设计了质量感知模块，通过结合来自单模态和多模态融合特征的信息来估计当前帧的质量得分。本书基于质量得分提出了跟踪模板的更新和重置策略，确保多模态多目标观测的匹配准确性和跟踪连续性。实验表明，唤醒词线索增强方法能自适应地调节听觉特征增益，提高复杂环境中不同说话人声学线索的可区分性。所提出的多说话人跟踪网络在国际通用数据集上取得了具有竞争力的性能。本书是作者在总结近五年研究成果的基础上撰写的。书中内容不仅包括基于视听融合的说话人定位与跟踪技术的基本原理和技术框架，还深入探讨了各种算法和模型的设计与实现，特别是它们在实际应用中的性能评估与优化策略。从基本理论到前沿技术，本书覆盖内容广泛，既为初学者提供入门指导，也为专业研究人员和工程师提供深入的技术细节和实用的解决方案。最后，感谢我的导师、家人和朋友对本书出版的支持与鼓励。希望本书能够为多模态融合技术的发展和应用贡献一份力量，激励更多的研究者和工程师投身于这一充满前景的领域，共同推动人工智能技术的进步。

本书以多模态人机交互中的说话人定位与跟踪为核心，以视听融合理论与机器学习方法为基础，针对多模态异质性数据融合、多模态置信水平度量、跨模态监督、多层次信息交互、多模态多目标数据关联等问题进行了研究，旨在通过融合视觉与听觉信息的互补性，克服单模态感知的局限性，提升复杂环境下的定位精度与鲁棒性。

李一迪，1994年10月生，中共党员，于2023年获得北京大学计算机科学与技术博士学位。现任太原理工大学计算机科学与技术学院（大数据学院）副教授。其研究工作在计算机视觉与计算机听觉交叉融合的关键领域中取得了显著的科研成果，在人工智能领域国际顶级学术会议和SCI期刊上发表论文十余篇，荣获ACM中国新星奖（太原分会）

第1章 绪论1.1 研究背景与意义1.2 问题描述与研究难点1.2.1 研究问题描述1.2.2 研究难点1.3 研究方法与现状1.3.1 基于听觉的声源定位1.3.2 基于视觉的目标跟踪1.3.3 多模态融合1.3.4 基于视听融合的说话人定位与跟踪1.4 本书内容与结构安排1.4.1 本书内容1.4.2 结构安排第2章 面向视听融合的双层粒子滤波模型2.1 引言2.2 基于粒子滤波的目标跟踪算法2.2.1 贝叶斯滤波原理2.2.2 粒子滤波算法2.3 基于双层粒子滤波模型的视听跟踪器2.3.1 听觉引导的目标状态转移模型2.3.2 自适应视听融合似然2.3.3 最优粒子集2.4 深度度量学习辅助的双层粒子滤波模型2.4.1 深度度量学习辅助的观测模型2.4.2 基于长短期机制的模板更新策略2.5 实验结果与分析2.5.1 数据集及实验设置2.5.2 各模块的有效性评估2.5.3 参数评估2.5.4 相关工作对比实验2.6 本章小结第3 章 基于自监督多模态感知注意力机制的说话人定位与跟踪3.1 引言3.2 基于视听空间映射的声学线索提取3.2.1 成像几何原理3.2.2 全局相干场声学线索3.2.3 时空全局相干场声学图谱3.3 基于自监督多模态感知注意力机制的视听跟踪器3.3.1 多模态感知注意力网络3.3.2 跨模态自监督学习方法3.3.3 多模态感知跟踪器3.4 实验结果与分析3.4.1 数据集与实验设置3.4.2 MPT 各模块的有效性评估3.4.3 相关工作对比实验3.4.4 可视化分析3.5 本章小结第4 章 多人场景下的语义_ 空间特征融合机制4.1 引言4.2 视听融合的关键词语义特征编码方法4.2.1 视听特征提取4.2.2 语义特征编码4.2.3 视听关键词识别模型4.3 基于交叉注意力的语义_ 空间特征融合机制4.3.1 视觉空间特征提取4.3.2 听觉空间特征提取4.3.3 多人场景下的两阶段语义_ 空间特征融合4.4 整体跟踪框架4.5 实验结果与分析4.5.1 数据集及实验设置4.5.2 视听关键词识别模型评估4.5.3 SSFT 各模块的有效性评估4.5.4 相关工作对比实验4.6 本章小结第5 章 唤醒词线索增强的多说话人声源定位与跟踪5.1 引言5.2 唤醒词线索引导的主动目标跟踪5.2.1 活跃说话人检测5.2.2 唤醒词线索提取5.3 唤醒词线索增强的声学图谱估计5.3.1 视觉观测引导的声学图谱5.3.2 唤醒词线索增强的声学图谱5.4 整体跟踪框架5.5 实验结果与分析5.5.1 数据集及实验设置5.5.2 视听唤醒词识别模型评估5.5.3 WWET 各模块的有效性评估5.5.4 相关工作对比实验5.5.5 系统集成实验平台5.6 本章小结第6 章 结论及展望参考文献