本书系统整合了计算机视觉领域的*算法与现代智能视觉技术，*介绍了该领域的核心理论与方法体系。本书内容丰富，涵盖了以下主要知识点：计算机视觉基本概念及技术基础、人类视觉感知与图像特征多层表达、图像特征与图像对齐、二值图像分析、区域分割、纹理特征分析、相机成像模型和标定技术、光流计算、三维重建、传统目标检测与识别算法、传统目标跟踪算法、智能目标识别与跟踪、三维点云特征及理解、视觉语言模型等。

本书适合作为计算机科学与技术、软件工程及电子类专业本科生、研究生的教材或教学参考书，也可供从事计算机视觉应用与研究的开发人员和科研人员使用。对于计算机视觉先行课程知识欠缺的读者，本书提供了循序渐进、易于理解的学习路径，帮助他们系统掌握计算机视觉算法原理和关键技术。

谢源，现任华东师范大学计算机科学与技术学院教授、博导，国家优青，闽江学者讲座教授，人社部“香江学者”。于2010年和2013年分别获得厦门大学计算机系和中国科学院自动化所工学硕士和博士学位。2014年获国家人社部和博管会的资助，授予“香江学者”的称号，赴香港理工大学计算机系从事两年的博士后研究工作。历任中国科学院自动化研究所助理研究员（2013）和副研究员（2016）。

第 1章　计算机视觉基础1

1.1　概述 1

1.1.1　计算机视觉概念 1

1.1.2　计算机视觉的发展历史及应用 2

1.1.3　与其他学科之间的关系 7

1.1.4　计算机视觉算法流程 9

1.2　数字图像基础 11

1.2.1　数字图像基本概念 11

1.2.2　数字图像质量影响因素 16

1.2.3　数字图像基本运算 18

1.2.4　数字图像的空域处理 20

1.2.5　图像滤波处理 21

1.3　机器学习与人工智能技术 22

1.3.1　人工智能技术的发展 22

1.3.2　机器学习概念及常用算法 23

1.3.3　机器学习与深度学习 27

1.3.4　深度学习技术的发展 29

1.3.5　神经元与人工神经网络 30

1.3.6　神经网络结构 32

1.3.7　卷积神经网络 34

1.4　计算机视觉编程基础 37

1.4.1　Python语言简介 37

1.4.2　图像处理的软件包 39

1.4.3　深度学习编程框架 40

1.4.4　深度学习编程实例 43

习题 45

第 2章人类视觉感知与图像特征多层

　　　　表达 46

2.1　人眼结构与视觉特性 46

2.1.1　人眼结构 46

2.1.2　人眼视觉特性 47

2.1.3　人类视觉感知 48

2.1.4　颜色感知与色彩空间 50

2.1.5　视觉感知特征及作用 54

2.2　图像的多层次表达 55

2.2.1　图像金字塔与人类的感知 55

2.2.2　图像金字塔技术的作用 56

2.3　滤波器 57

2.3.1　滤波器概念 57

2.3.2　空域滤波器 58

2.3.3　频域滤波处理 67

2.3.4　图像滤波与金字塔生成 71

2.4　深度学习的多层特征 72

2.4.1　图像的卷积运算 72

2.4.2　卷积神经网络及多层特征 74

习题 75

第3章图像特征与图像对齐 77

3.1　图像特征及常见类型 77

3.2　点特征 80

3.3　边缘特征 85

3.4　区域特征 92

3.5　多视图及特征对应 95

3.6　特征匹配技术 97

3.7　图像对齐技术基础 99

3.8　全局图像对齐 101

3.8.1　基于几何变换的对齐 102

3.8.2　基于投影变换的对齐 103

3.9　智能图像对齐 104

3.9.1　块对齐算法 104

3.9.2　*匹配点的智能图像对齐

　　　算法 105

3.9.3　智能几何变换对齐 106

3.9.4　智能关键点匹配算法 107

习题 108

第4章二值图像分析 109

4.1　二值图像概念 109

4.2　二值图像的创建 110

4.3　连通性及连通成分标记　 111

4.4　区域的边界 113

4.5　图像骨架化 113

4.6　数学形态学处理方法 115

4.6.1　数学形态学基本运算 117

4.6.2　数学形态学处理算法 121

4.7　二值图像的应用实例 126

习题 127

第5章　区域分割 128

5.1　区域分割概念 128

5.2　传统图像分割 128

5.2.1　阈值分割法 128

5.2.2　基于区域的分割技术 136

5.2.3　基于轮廓的分割技术 139

5.3　图像语义概念 147

5.4　语义分割技术发展及CNN基础 148

5.5　基于深度学习的语义分割 151

5.5.1　基于FCN的语义分割技术 151

5.5.2　其他语义分割网络 153

5.5.3　基于注意力机制的语义分割 156

5.6　基于区域的智能分割算法 158

习题 160

第6章纹理特征分析 161

6.1纹理的定义及分类 161

6.2纹理特征分析的常用方法 162

6.3基于纹理的分类与识别 166

6.4图像修复 167

6.5图像风格化处理 174

习题 179

第7章相机成像模型和标定技术 180

7.1从3D到2D的成像 180

7.2相机成像模型 182

7.3摄像机标定技术基础 184

7.4对极几何与摄像机自标定 188

7.5智能成像模型学习方法 190

习题 192

第8章光流计算 193

8.1光流概念 193

8.2光流估计的用途 194

8.3运动场与光流的关系 195

8.4光流估计方法 196

8.5基于深度学习的光流估计 201

8.6基于光流的智能表情分析实例 203

习题 205

第9章三维重建 206

9.1三维重建基础 206

9.2三维场景表达方法 206

9.2.1立体表面表达 206

9.2.2空间点云表达 208

9.2.3体表达 209

9.2.4体素表达 210

9.2.5深度映像表达 211

9.3三维形状重建 212

9.3.1基于明暗恢复形状 212

9.3.2基于纹理恢复形状 213

9.4主动视觉与被动视觉重建 214

9.4.1主动视觉重建 214

9.4.2被动视觉重建 217

9.5智能三维重建算法 221

9.5.1单幅图像重建技术 221

9.5.2神经辐射场重建 223

9.5.3DeepSDF重建 224

习题 226

第 10章传统目标检测与识别算法 227

10.1目标识别概念 227

10.2目标识别算法分类 228

10.3目标识别算法流程 229

10.4滑动窗口目标检测算法 232

10.5目标识别词袋算法 233

10.6基于AdaBoost的人脸检测算法 235

习题 238

第 11章传统目标跟踪算法 239

11.1目标跟踪概念 239

11.2目标跟踪技术难点 240

11.3运动目标检测与跟踪 241

11.4传统跟踪算法基础 241

11.5典型目标跟踪算法 244

11.5.1核跟踪算法基础 244

11.5.2均值漂移算法 244

11.6卡尔曼滤波器跟踪算法 246

11.7相关滤波运动跟踪算法 248

习题 249

第 12章智能目标识别与跟踪 251

12.1智能目标识别算法基础 251

12.2R-CNN算法 252

12.3SPP-Net算法 252

12.4Fast R-CNN算法 254

12.5Faster R-CNN算法 255

12.6YOLOv1算法 256

12.7SSD算法 257

12.8YOLOv2算法 259

12.9YOLOv3算法 260

12.10基于YOLO的其他跟踪算法 261

习题 263

第 13章三维点云特征及理解 265

13.1点云滤波处理与表达 266

13.1.1点云滤波基础 266

13.1.2点云关键点提取与描述 267

13.1.3点云体素化与稀疏化表达 269

13.2点云特征描述方法 270

13.2.1点云特征描述子 271

13.2.2特征描述的算法实例 276

13.3智能点云运算算法实例 276

13.3.1智能点云运算技术的发展 276

13.3.2PointNet算法 277

13.3.3PointNet++算法 280

13.3.4PointConv算法 281

13.4三维点云语义理解 282

13.5三维点云目标分类 284

习题 286

第 14章视觉语言模型 287

14.1语言模型技术基础 287

14.1.1语言模型的词嵌入 287

14.1.2预训练语言模型 288

14.1.3　大语言模型技术及发展 292

14.2视觉语言模型基础 293

14.3端到端的视觉语言模型 296

14.3.1CLIP模型 296

14.3.2ALBEF模型 298

14.3.3VLMo 300

14.3.4BLIP模型 301

14.3.5CoCa模型 302

14.3.6BEiT-3模型 304

14.4基于预训练的视觉语言模型 305

14.4.1BLIP-2模型 305

14.4.2InstructBLIP模型 305

14.4.3MiniGPT-4模型 306

14.4.4LLaVA模型 307

14.4.5VisualGLM-6B模型 308

14.4.6CogVLM模型 309

14.4.7MiniGPT-5模型 310

14.4.8GPT-4V模型 311

14.5稳定扩散模型 312

14.5.1扩散模型 313

14.5.2去噪扩散概率模型 313

14.5.3LDM 314

14.5.4SDM 315

习题316