计算机视觉是目前研究为活跃的领域之一，很多新的技术和方法在计算机视觉中得到了成功的应用。本书以计算机视觉相关技术和模型为主线，讨论当前这个领域的传统技术和方法。全书共分9章。第1章介绍了人类视觉系统及其计算模型、JND模型和显著性模型。第2章介绍了图像的基本表示，以及底层特征，包括边缘、角点、几何形状的检测。第3章介绍了基本的色度学及颜色模型，并对图像形成过程进行了详细介绍。随后介绍了齐次坐标及坐标变换相关的知识，介绍了相机位置、方向和姿态估计。后几章分别对运动场与光流相关的基础和算法、应用进行了论述。第4章介绍了从图像序列中估计2D和3D运动。第5章介绍了差分运动分析及基于核函数的视觉跟踪。第6章介绍了蒙特卡洛罗运动分析。第7章介绍了铰链运动分析及人体姿态估计。第8章介绍了多目标跟踪算法。 计算机视觉相关技术在实际生活中有着广泛的应用，并在几年取得巨大进展，尤其是深度学习技术的发展使更多人对计算机视觉领域产生了兴趣。本书可供计算机科学与技术、软件工程、多媒体处理和信号处理等领域中关注计算机视觉、图像处理、模式识别及其应用的工程技术人员和科研教学人员阅读，也可以作为研究生和大学高年级学生学习的教材和参考书。

    刘绍辉副教授分别于1999年、2001年和2007年获得哈尔滨工业大学计算数学及其应用软件开发专业理学学士学位、计算数学理学硕士学位和计算机应用技术专业工学博士学位。是中国计算机学会高级会员。曾作为访问教授和CSC国家公派访问学者分别于2012年和2013年访问韩国世宗大学和美国密苏里哥伦比亚大学。主持／参与多项国家自然科学基金、863、973等项目的研究。发表国内外刊物和会议学术论文100余篇，论文他引1000余次。曾获ICWAA2003国际会议优论文奖，2016年军队科技进步二等奖。担任国家自然科学基金通讯评审人、IEEE Trans. Multimedia、CSVT、CVIU等十余种国际期刊和会议审稿人或副编辑。讲授数字图像处理、多媒体技术、计算机视觉、计算机视觉专题讲座、现代密码学原理与实践、信息安全新进展、优化方法、信息论原理等研究生与本科生课程。参与哈工大“与国际高水平学者共建研究生课程”计算机视觉课程的建设。先后指导及协助指导硕士研究生30余名，并获2017搜狐图文匹配大赛全国总冠军，以及多项蓝桥杯全国软件与信息技术专业人才大赛奖项和哈工大年度科技创新奖项。

目    录

第1章  人类视觉系统及其建模1

1.1  人类视觉系统概述1

1.2  人眼基本视觉特性4

1.2.1  色彩空间4

1.2.2  多通道特性5

1.2.3  亮度自适应5

1.2.4  对比度敏感度函数（CSF）5

1.2.5  视觉掩盖效应6

1.3  立体视觉的形成过程7

1.3.1  立体视觉系统的生理特性7

1.3.2  立体视觉系统的心理特性9

1.3.3  立体视觉生理特性与心理特性的关系9

1.4  JND模型与显著性模型10

1.4.1  JND模型10

1.4.2  显著性模型18

1.5  本章小结19

参考文献19

第2章  图像边缘、角点检测20

2.1  图像20

2.2  灰度位图图像和彩色位图图像21

2.3  GIF图像格式和JPEG压缩24

2.3.1  GIF图像25

2.3.2  JPEG图像25

2.4  图像边缘及其检测31

2.4.1  边缘类型32

2.4.2  边缘检测的三个阶段33

2.4.3  滤波操作及双边滤波器33

2.4.4  差分操作36

2.4.5  边缘检测操作37

2.4.6  非极大值抑制操作37

2.4.7  几种典型的边缘检测算法38

2.5  图像角点检测41

2.5.1  图像角点检测基本原理及Harris角点检测41

2.5.2  FAST角点检测44

2.6  形状检测44

2.6.1  标准Hough变换及圆形Hough变换44

2.6.2  广义Hough变换46

2.6.3  三种常见Hough变换的区别47

2.7  直线段检测47

本章小结49

参考文献50

第3章  图像形成与相机几何51

3.1  引言51

3.1.1  色度学51

3.1.2  三色视觉原理52

3.2  图像的形成53

3.2.1  取景透镜54

3.2.2  抗混淆滤波器57

3.2.3  红外截止滤波器和保护玻璃59

3.2.4  图像传感器59

3.3  齐次坐标64

3.4  小孔成像65

3.5  图像坐标系、相机坐标系和世界坐标系67

3.5.1  图像坐标系67

3.5.2  相机坐标系68

3.5.3  世界坐标系68

3.6  坐标平移、伸缩和旋转68

3.6.1  坐标平移68

3.6.2  坐标伸缩69

3.6.3  坐标旋转69

3.6.4  绕任意轴旋转的矩阵表示71

3.6.5  罗德里格斯公式74

3.6.6  四元数75

3.6.7  旋转矩阵与旋转角的关系76

3.6.8  矩阵与运动的对应关系77

3.6.9  世界坐标系到图像坐标系的变换78

3.6.10  透视相机模型80

3.7  相机标定80

3.7.1  相机畸变83

3.7.2  相机标定84

3.8  相机位置和方向84

3.9  姿态估计86

本章小结88

习题388

参考文献88

第4章  从图像序列中估计2D和3D运动89

4.1  运动场与光流场89

4.2  光流计算91

4.2.1  光流方程91

4.2.2  经典光流计算方法92

4.2.3  光流算法的改进94

4.3  光流技术的研究难点及策略100

4.3.1  鲁棒的光流估计101

4.3.2  压缩感知及基于稀疏模型的光流估计103

4.3.3  光流分布信息的统计研究105

4.4  3D运动恢复107

4.4.1  透视投影成像的几何模型107

4.4.2  3D运动场109

4.4.3  3D运动场到2D速度场的投影转换模型111

4.4.4  2D速度场的局部拟合及三维运动参数估计112

参考文献114

第5章  差分运动分析及基于核函数的视觉跟踪120

5.1  基于差分方法的光流计算120

5.1.1  光流通用模型120

5.1.2  模型数据项121

5.1.3  HS模型的计算方法126

5.2  视觉跟踪概述128

5.2.1  视觉跟踪的分类129

5.2.2  视频目标跟踪算法的组成130

5.3  核函数跟踪算法130

5.3.1  核函数跟踪算法的问题及发展131

5.3.2  目标及候选图像区域表达131

5.3.3  相似性度量132

5.3.4  概率密度估计133

5.3.5  Mean Shift136

5.3.6  误差平方和测度及牛顿迭代140

5.3.7  多极值点问题141

5.4  本章小结142

参考文献142

第6章  蒙特卡罗运动分析145

6.1  跟踪问题的形式化表示145

6.1.1  Markov性假设145

6.1.2  三个基本模型145

6.1.3  推测过程146

6.2  卡尔曼滤波与广义卡尔曼滤波146

6.2.1  状态空间表示法和参数估计146

6.2.2  标准卡尔曼滤波147

6.2.3  广义卡尔曼滤波148

6.3  特征表示与提取149

6.3.1  颜色直方图149

6.3.2  形状特征150

6.3.3  尺度不变轮廓特征的表示150

6.4  目标跟踪方法评价指标152

6.5  序列Monte Carlo方法研究153

6.5.1  Monte Carlo方法153

6.5.2  重要性采样156

6.5.3  序列重要性采样158

6.5.4  退化问题160

6.5.5  粒子滤波的改进方法164

6.5.6  粒子滤波的收敛性170

6.6  本章小结174

参考文献175

第7章  铰链运动分析及人体姿态估计180

7.1  人体模型及观测似然函数180

7.1.1  人体模型180

7.1.2  观测似然函数181

7.2  模拟退火的粒子滤波算法181

7.2.1  粒子滤波算法181

7.2.2  模拟退火182

7.2.3  模拟退火的粒子滤波183

7.3  非参数置信传播算法183

7.4  人体运动估计184

7.4.1  条件随机场理论185

7.4.2  人体与外观模型190

7.5  本章小结192

参考文献192

第8章  多目标跟踪算法194

8.1  多目标跟踪概述194

8.1.1  目标运动模型195

8.2  数据关联算法197

8.2.1  最近邻域法197

8.2.2  概率数据关联算法197

8.2.3  联合概率数据互联算法199

8.2.4  其他的经典算法201

8.3  基于图模型的多目标跟踪算法202

8.3.1  概率图模型分析203

8.3.2  概率图模型推理方法213

8.4  本章小结224

参考文献225