目录

●前言
第1章 智能问答概述1
1.1 引言1
1.2 智能问答简史4
1.3 智能问答系统的分类6
1.4 本章小结11
第2章 基于文本理解的智能问答中的关键技术13
2.1 文本理解的相关技术13
2.1.1 机器阅读理解13
2.1.2 知识问答14
2.1.3 答案选择16
2.1.4 知识库的引入18
2.1.5 提示学习20
2.2 视觉与语言多模态学习21
2.2.1 注意力机制21
2.2.2 多模态融合23
2.2.3 图像-文本跨模态预训练24
2.3 视觉问答26
2.3.1 视觉问答方法26
2.3.2 场景文本视觉问答28
2.4 本章小结30
第3章 基于多域检索和融合的文本问答方法31
3.1 引言31
3.2 方法概述33
3.3 查询处理33
3.3.1 查询精简34
3.3.2 查询扩增34
3.4 检索34
3.4.1 查询似然模型34
3.4.2 顺序依赖模型35
3.4.3 字段顺序依赖模型36
3.4.4 随机性临近散度模型38
3.5 多模式策略组合38
3.6 实验验证39
3.6.1 数据集和评价指标39
3.6.2 实验设置42
3.6.3 不同模型组合对模型性能的影响43
3.6.4 与前沿方法的对比实验46
3.6.5 与医学问答系统的对比实验47
3.6.6 实验结果分析49
3.7 本章小结51
第4章 基于偏序关系排序的文本问答方法52
4.1 引言52
4.2 候选项与候选项模型53
4.3 用于答案选择的多任务学习57
4.4 实验验证59
4.4.1 数据集和评价指标59
4.4.2 实验设置60
4.4.3 WikiQA上的性能比较60
4.4.4 TREC-QA上的性能比较61
4.4.5 Insurance QA上的性能比较63
4.4.6 BioASQ上的性能比较64
4.4.7 变体方法对比实验66
4.5 本章小结68
第5章 基于文本阅读理解的场景文本视觉问答方法69
5.1 引言69
5.2 文本阅读理解73
5.2.1 图片处理73
5.2.2 问题理解73
5.2.3 场景文本和目标理解74
5.2.4 关系推理76
5.3 答案预测77
5.3.1 答案候选项生成77
5.3.2 答案语义匹配78
5.3.3 语义推理79
5.4 实验验证80
5.4.1 数据集和评价指标80
5.4.2 文本和目标检测识别模型82
5.4.3 不同模块对模型性能的影响83
5.4.4 OCR准确率对性能的影响86
5.4.5 与前沿方法的对比实验87
5.4.6 关键模块对答案预测的影响90
5.4.7 定性样例分析91
5.5 本章小结92
第6章 基于对比学习语义补齐的场景文本视觉问答方法94
6.1 引言94
6.2 场景文本对比学习98
6.2.1 OCR文本语义表示98
6.2.2 OCR文本增强99
6.2.3 多模态融合100
6.2.4 OCR文本和单词对比学习100
6.2.5 损失函数101
6.3 答案预测101
6.4 实验验证103
6.4.1 数据集和评价指标103
6.4.2 与前沿方法的对比实验106
6.4.3 不同OCR文本语义表示的对比实验108
6.4.4 各个模块对模型性能的影响109
6.4.5 不同来源答案预测的对比实验110
6.4.6 ST-VQA数据集预测结果的对比分析111
6.4.7 TextCaps数据集的对比实验和结果展示113
6.5 本章小结115
第7章 基于先验知识的场景文本视觉问答方法116
7.1 引言116
7.2 先验知识检索和验证117
7.2.1 OCR文本相关实体查询118
7.2.2 问题相关先验知识检索119
7.2.3 基于提示学习的先验知识验证119
7.3 先验知识融合推理120
7.3.1 场景文本和先验知识对齐120
7.3.2 多模态融合推理121
7.4 答案预测122
7.5 实验验证123
7.5.1 与前沿方法的对比实验124
7.5.2 不同提示模板预测准确率的对比127
7.5.3 各个模块对模型性能的影响129
7.5.4 不同数据子集的对比实验129
7.5.5 KgMr预测结果的对比分析130
7.6 本章小结132
第8章 总结与展望133
8.1研究总结133
8.2 未来展望134
参考文献135