内容简介

本书讲述了深度学习架构与实践，共分为两个部分，*1部分（即*1~6章）为基础理论，主要对深度学习的理论知识进行了详细的讲解；*2部分（即第7~12章）为应用实践，以具体的实际案例为场景，通过理论和实践相结合的讲解方式使读者能够对深度学习技术有更好的理解。本书可以为读者提供一条轻松、快速入门深度学习的路径，有侧重地阐明深度学习的经典知识和核心要点，从架构和实践两个方面，让读者对深度学习的系统架构和若干领域的应用实践有清晰和深入的掌握。

本书适合计算机软件相关专业的高年级本科生或研究生，以及所有想要学习深度学习或从事计算机视觉算法开发的读者阅读。

  目录

目录

前言

绪论1

*1章 深度学习的架构8

1.1如何区分人工智能、机器学习、深度学习8

1.1.1人工智能：从概念提出到走向繁荣8

1.1.2机器学习：一种实现人工智能的方法9

1.1.3深度学习：一种实现机器学习的技术9

1.1.4人工智能、机器学习和深度学习的关系9

1.2深度学习的发展历史及研究现状10

1.2.1深度学习的发展历史10

1.2.2深度学习的研究现状11

1.3深度学习的基本内容及理论基础13

1.3.1深度学习的基本内容13

1.3.2深度学习的理论基础15

1.4深度学习的发展趋势与未来15

1.4.1深度学习的发展趋势15

1.4.2深度学习的未来16

*2章 深度学习相关数学基础17

2.1线性代数17

2.1.1标量、向量、矩阵和张量17

2.1.2矩阵和向量相乘18

2.1.3单位矩阵和逆矩阵19

2.1.4线性相关和生成子空间19

2.1.5范数21

2.1.6特殊类型的矩阵和向量22

2.1.7特征分解23

2.1.8奇异值分解24

2.1.9Moore-Penrose伪逆25

2.1.10迹运算25

2.1.11行列式26

2.1.12主成分分析26

2.2概率论与信息论29

2.2.1随机试验、频率与概率、随机变量29

2.2.2随机变量的分布情况30

2.2.3二维随机变量31

2.2.4期望、方差、协方差、相关系数33

2.2.5常用的概率分布34

2.2.6常用函数的有用性质37

2.2.7连续型变量的技术细节39

2.2.8信息论40

2.2.9结构化概率模型41

2.3拟合、梯度下降与传播43

2.3.1过拟合和欠拟合43

2.3.2随机梯度下降44

2.3.3正向传播与反向传播47

第3章 神经网络的架构48

3.1神经网络与神经元48

3.2深度神经网络的概念与结构49

3.2.1深度神经网络的概念49

3.2.2深度神经网络的结构49

3.3深度神经网络的分类50

3.3.1前馈深度网络50

3.3.2反馈深度网络51

3.3.3双向深度网络51

3.4自动编码器与玻尔兹曼机51

3.4.1自动编码器51

3.4.2玻尔兹曼机52

第4章 卷积神经网络53

4.1卷积神经网络的概念53

4.2卷积神经网络的基本结构54

4.2.1卷积层55

4.2.2池化层56

4.2.3全连接层56

4.3非线性层与激活函数57

4.3.1Sigmoid激活函数57

4.3.2Tanh函数59

4.3.3Relu函数60

4.4感受野与权值共享61

4.4.1局部感受野61

4.4.2权值共享61

4.5卷积神经网络与反卷积神经网络62

4.5.1卷积神经网络及其特点62

4.5.2反卷积神经网络及其特点63

4.6卷积神经网络的训练63

第5章 循环神经网络64

5.1RNN的概念64

5.2RNN的结构64

5.3RNN的训练65

5.3.1反向传播算法的原理65

5.3.2反向传播算法的步骤65

5.4RNN的实现71

5.4.1梯度爆炸与梯度消失71

5.4.2基于RNN的语言模型例子71

5.4.3语言模型训练过程73

5.5RNN的发展74

5.5.1双向循环神经网络74

5.5.2长短时记忆结构75

第6章 生成对抗网络776.1GAN的概念77

6.1.1对抗思想与GAN77

6.1.2*大似然估计及*优化问题79

6.1.3GAN的训练过程81

6.2GAN的原理82

6.2.1生成器82

6.2.2判别器83

6.3GAN的应用84

6.4GAN的发展85

6.4.1GAN的优缺点85

6.4.2GAN的未来发展方向86

第7章 Python相关基础877.1Python程序结构87

7.1.1循环结构87

7.1.2分支结构89

7.2NumPy操作90

7.2.1NumPy的主要特点91

7.2.2ndarray91

7.2.3NumPy-数据类型94

7.2.4NumPy-数组属性94

7.2.5NumPy-数组创建例程96

7.2.6NumPy-切片和索引98

7.2.7NumPy-字符串函数99

7.2.8NumPy-算数函数100

7.2.9NumPy-算数运算100

7.2.10NumPy-统计函数101

7.2.11NumPy-排序、搜索和计数函数102

7.2.12NumPy-字节交换103

7.2.13NumPy-副本和视图103

7.2.14NumPy-矩阵库104

7.2.15NumPy-线性代数105

7.3函数105

7.3.1Python中函数的应用105

7.3.2Python函数的定义107

7.3.3Python函数的调用108

7.3.4为函数提供说明文档109

7.4第三方资源110

第8章 TensorFlow、Theano、Caffe的框架与安装113

8.1TensorFlow的框架与安装113

8.1.1TensorFlow的简介113

8.1.2TensorFlow的架构113

8.1.3TensorFlow的特点114

8.1.4TensorFlow的安装114

8.2Theano的框架与安装118

8.2.1Theano的简介118

8.2.2Theano的安装119

8.3Caffe的架构与安装121

8.3.1Caffe的简介121

8.3.2Caffe的安装122

第9章 TensorFlow、Theano、Caffe的原理及应用124

9.1TensorFlow的原理及应用124

9.1.1TensorFlow的工作原理124

9.1.2TensorFlow的简单应用126

9.1.3TensorFlow的复杂应用129

9.2Theano的基本语法及应用145

9.2.1Theano的基本语法145

9.2.2Theano在Windows下的常用实例149

9.2.3用Theano来编写一个简单的神经网络154

9.3Caffe的结构、写法及应用157

9.3.1Caffe的结构157

9.3.2Caffe的写法157

9.3.3Caffe的训练与测试167

*10章 手写数字识别实例177

10.1字符识别的意义177

10.2字符识别的设计与实现177

10.2.1实验简介177

10.2.2实验环境搭建178

10.3单层神经网络搭建178

10.3.1网络搭建过程178

10.3.2梯度下降180

10.4多层神经网络搭建183

10.4.1Sigmoid激活函数184

10.4.2Relu激活函数184

10.4.3衰减学习率187

10.4.4添加dropout解决过拟合现象188

10.5卷积神经网络190

*11章 自动生成图像描述实例195

11.1自动生成图像描述的目标195

11.2自动生成图像描述的设计198

11.3语言生成模型201

11.4自动生成图像描述的实现203

11.5实验结果及分析221

*12章 唇语识别实例225

12.1唇语识别技术的目标225

12.2特征提取225

12.2.1CNN的唇部视觉特征提取225

12.2.2RNN的时序特征提取226

12.2.3特征分类算法SVM、KNN、Softmax228

12.3唇语识别模型网络架构230

12.3.1抽取视频帧算法与视频唇部区域定位230

12.3.2图像特征提取网络架构233

12.3.3基于注意力机制的时间特征提取架构234

12.3.4唇语识别模型与整体识别流程235

12.4实验结果及分析239

12.4.1数据集与预处理239

12.4.2实验结果239

12.4.3可视化分析242

参考文献246