书名：PyTorch深度学习和图*经网络.卷2,开发应用  
定*：129.8  
ISBN：9787**5560926  
作者：李金洪  
版次：第*版  
出版时间：202*-*2  

内容提要：  
本书通过深度学习实例，从可解释性角度出发，阐述深度学习的原理，并将图*经网络与深度学习结合，介绍图*经网络的实现技术。本书分为6章，主要内容*括：图片分类模型、机器视觉的*级应用、自然语言处理的相关应用、*经网络的可解释性、识别未知分类的方法——零次学习、异构图*经网络。本书中的实例是在PyTorch框架上完成的，具有较*的实用*值。 本书适合人工智能从业者、程序员进*学习，也适合作为大*院校相关*业师生的教学和学习用书，以及培训学校的教材。  



作者简介：  
李金洪， *通C、Python、Java语言，擅长*经网络、算法、协议分析、移动互联网*架构等技术，先后担任过CAD算法工程师、架构师、项目经理、*门经理等职位。参与过深度学习*域某移动互联网后台的OCR项目，某娱乐节目机器人的语音识别、声纹识别项目，金融*域的若干分类项目。  

目录：  
目录  
第　*章 图片分类模型　*  
*.*　深度*经网络起源　2  
*.2　Inception系列模型　2  
*.2.*　多分支结构　2  
*.2.2　*局均值池化　3  
*.2.3　Inception V*模型　3  
*.2.4　Inception V2模型　4  
*.2.5　Inception V3模型　5  
*.2.6　Inception V4模型　6  
*.2.7　Inception-ResNet V2模型　6  
*.3　ResNet模型　6  
*.3.*　残差连接的结构　7  
*.3.2　残差连接的原理　8  
*.4　DenseNet模型　8  
*.4.*　DenseNet模型的网络结构　8  
*.4.2　DenseNet模型的*点　9  
*.4.3　稠密块　9  
*.5　PNASNet模型　9  
*.5.*　组卷积　*0  
*.5.2　深度可分离卷积　**  
*.5.3　空洞卷积　*2  
*.6　EfficientNet模型　*4  
*.6.*　MBConv卷积块　*5  
*.6.2　DropConnect层　*6  
*.7　实例：使用预训练模型识别图片内容　*6  
*.7.*　了解torchvision库中的预训练模型　*6  
*.7.2　代码实现：下载并加载预训练模型　*7  
*.7.3　代码实现：加载标签并对输入数据进行预处理　*8  
*.7.4　代码实现：使用模型进行预测　*9  
*.7.5　代码实现：预测结果可视化　20  
*.8　实例：使用迁移学习识别多种鸟类　2*  
*.8.*　什么是迁移学习　2*  
*.8.2　样本介绍：鸟类数据集CUB-200　22  
*.8.3　代码实现：用torch.utils.data接口封装数据集　22  
*.8.4　代码实现：获取并改造ResNet模型　27  
*.8.5　代码实现：微调模型最后*层　28  
*.8.6　代码实现：使用退化学习率对 模型进行*局微调　29  
*.8.7　扩展实例：使用随机数据增强方法训练模型　30  
*.8.8　扩展：分类模型中常用的3种损失函数　3*  
*.8.9　扩展实例：样本均衡　3*  
*.9　从深度卷积模型中提取视觉*征　33  
*.9.*　使用钩子函数的方式提取视觉*征　33  
*.9.2　使用重组结构的方式提取视觉*征　34  
第　2章 机器视觉的*级应用　37  
2.*　基于图片内容的处理任务　38  
2.*.*　目标检测任务　38  
2.*.2　图片分割任务　38  
2.*.3　非*大值抑制算法　39  
2.*.4　Mask R-CNN模型　39  
2.2　实例：使用Mask R-CNN模型进行目标检测与语义分割　4*  
2.2.*　代码实现：了解PyTorch中目标检测的内置模型　4*  
2.2.2　代码实现：使用PyTorch中目标检测的内置模型　42  
2.2.3　扩展实例：使用内置的预训练模型进行语义分割　43  
2.3　基于视频内容的处理任务　47  
2.4　实例：用GaitSet模型分析人走路的姿态，并进行身份识别　47  
2.4.*　步态识别的做法和思路　47  
2.4.2　GaitSet模型　48  
2.4.3　多层*流程管线　50  
2.4.4　水平金字塔池化　5*  
2.4.5　三元损失　52  
2.4.6　样本介绍：CASIA-B数据集　53  
2.4.7　代码实现：用torch.utils.data接口封装数据集　54  
2.4.8　代码实现：用torch.utils.data.sampler类*建含多标签批次数据的采样器　60  
2.4.9　代码实现：搭建 GaitSet模型　64  
2.4.*0　代码实现：自定义三元损失类　67  
2.4.**　代码实现：训练模型并*存模型权重文件　69  
2.4.*2　代码实现：测试模型　72  
2.4.*3　扩展实例：用深度卷积和最大池化 *化模型　77  
2.4.*4　扩展实例：视频采样并提取 轮廓　78  
2.4.*5　步态识别模型的局限性　79  
2.5　调试技巧　79  
2.5.*　解决显存过满损失值为0问题　80  
2.5.2　跟踪PyTorch显存并查找显存泄露点　8*  
第3章　自然语言处理的相关应用　83  
3.*　BERT模型与NLP任务的发展*段　84  
3.*.*　基础的*经网络*段　84  
3.*.2　BERTology*段　84  
3.2　NLP中的常见任务　84  
3.2.*　基于文章处理的任务　85  
3.2.2　基于句子处理的任务　85  
3.2.3　基于句子中词的处理任务　86  
3.3　实例：训练中文词向量　87  
3.3.*　CBOW和Skip-Gram模型　87  
3.3.2　代码实现：样本预处理并生成字典　88  
3.3.3　代码实现：按照Skip-Gram模型的规则制作数据集　90  
3.3.4　代码实现：搭建模型并进行 训练　92  
3.3.5　夹角余弦　95  
3.3.6　代码实现：词嵌入可视化　96  
3.3.7　词向量的应用　97  
3.4　常用文本处理工具　98  
3.4.*　spaCy库的介绍和安装　98  
3.4.2　与PyTorch深度结合的文本 处理库torchtext　99  
3.4.3　torchtext库及其内置数据集与 调用库的安装　99  
3.4.4　torchtext库中的内置预训练词 向量　*00  
3.5　实例：用TextCNN模型分析评论者是否满意　*00  
3.5.*　了解用于文本分类的卷积*经网络模型——TextCNN　*0*  
3.5.2　样本介绍：了解电影评论 数据集IMDB　*02  
3.5.3　代码实现：引入基础库　*02  
3.5.4　代码实现：用torchtext加载 IMDB并拆分为数据集　*03  
3.5.5　代码实现：加载预训练词向量并进行样本数据转化　*05  
3.5.6　代码实现：定义带有Mish激活 函数的TextCNN模型　*07  
3.5.7　代码实现：用数据集参数实例化 模型　*09  
3.5.8　代码实现：用预训练词向量 初始化模型　*09  
3.5.9　代码实现：用Ranger*化器训练模型　*09  
3.5.*0　代码实现：使用模型进行预测　**2  
3.6　了解Transformers库　**3  
3.6.*　Transformers库的定义　**3  
3.6.2　Transformers库的安装方法　**4  
3.6.3　查看Transformers库的版本信息　**5  
3.6.4　Transformers库的3层应用 结构　**5  
3.7　实例： 使用Transformers库的管道方式完成多种NLP任务　**6  
3.7.*　在管道方式中*NLP任务　**6  
3.7.2　代码实现：完成文本分类任务　**7  
3.7.3　代码实现：完成*征提取任务　**9  
3.7.4　代码实现：完成完形填空任务　*20  
3.7.5　代码实现：完成阅读理解任务　*2*  
3.7.6　代码实现：完成摘要生成任务　*23  
3.7.7　预训练模型文件的组成及其加载时的固定文件名称　*24  
3.7.8　代码实现：完成实体词识别任务　*24  
3.7.9　管道方式的工作原理　*25  
3.7.*0　在管道方式中加载* 模型　*27  
3.8　Transformers库中的AutoModel类　*28  
3.8.*　各种AutoModel类　*28  
3.8.2　AutoModel类的模型加载机制　*29  
3.8.3　Transformers库中更多的预训练 模型　*30  
3.9　Transformers库中的BERTology系列模型　*3*  
3.9.*　Transformers库的文件结构　*3*  
3.9.2　查找Transformers库中可以使用的模型　*35  
3.9.3　实例：用BERT模型实现完形填空任务　*36  
3.9.4　扩展实例：用 AutoModelWithMHead类 替换BertForMaskedLM类　*38  
3.*0　Transformers库中的词表工具　*39  
3.*0.*　PreTrainedTokenizer类中的 *殊词　*39  
3.*0.2　PreTrainedTokenizer类的 *殊词使用　*40  
3.*0.3　向PreTrainedTokenizer类中 添加词　*44  
3.*0.4　实例：用手动加载GPT-2模型 权重的方式将句子补充完整　*45  
3.*0.5　子词的拆分　*48  
3.**　BERTology系列模型　*49  
3.**.*　Transformer之前的主流模型　*49  
3.**.2　Transformer模型　*5*  
3.**.3　BERT模型　*53  
3.**.4　GPT-2模型　*57  
3.**.5　Transformer-XL模型　*57  
3.**.6　XLNet模型　*58  
3.**.7　XLNet模型与AE模型和AR 模型间的关系　*6*  
3.**.8　RoBERTa模型　*6*  
3.**.9　SpanBERT模型　*62  
3.**.*0　ELECTRA模型　*62  
3.**.**　T5模型　*63  
3.**.*2　ALBERT模型　*64  
3.**.*3　DistillBERT模型与知识蒸馏　*66  
3.*2　实例： 用迁移学习训练BERT模型来对中文分类　*67  
3.*2.*　样本介绍　*67  
3.*2.2　代码实现：构建数据集　*68  
3.*2.3　代码实现：构建并加载BERT预训练模型　*69  
3.*2.4　BERT模型类的内*逻辑　*70  
3.*2.5　代码实现：用退化学习率训练模型　*72  
3.*2.6　扩展：更多的中文预训练模型　*75  
3.*3　实例：用R-GCN模型理解文本中的代词　*75  
3.*3.*　代词数据集　*75  
3.*3.2　R-GCN模型的原理与实现　*76  
3.*3.3　将GAP数据集转化成图结构数据的思路　*79  
3.*3.4　代码实现：用BERT模型提取代词*征　*8*  
3.*3.5　代码实现：用BERT模型提取 其他词*征　*83  
3.*3.6　用spaCy工具对句子依存 分析　*85  
3.*3.7　代码实现：使用spaCy和批次 图方法构建图数据集　*87  
3.*3.8　代码实现：搭建多层R-GCN 模型　*92  
3.*3.9　代码实现：搭建*经网络 分类层　*93  
3.*3.*0　使用5折交叉验证方法训练 模型　*96  
第4章　*经网络的可解释性　*97  
4.*　了解模型解释库　*98  
4.*.*　了解Captum工具　*98  
4.*.2　可视化可解释性工具Captum Insights　*98  
4.2　实例：用可解释性理解数值分析*经网络模型　*99  
4.2.*　代码实现：载入模型　*99  
4.2.2　代码实现：用梯度积分算法分析模型的敏感属性　200  
4.2.3　代码实现：用Layer Conductance方法查看单个网络层中的*经元　202  
4.2.4　代码实现：用Neuron Conductance方法查看每个*经元所关注的属性　204  
4.3　实例：用可解释性理解NLP相关的*经网络模型　205  
4.3.*　词嵌入模型的可解释性方法　205  
4.3.2　代码实现：载入模型类并将其处理 过程拆开　206  
4.3.3　代码实现：实例化并加载模型权重，提取模型的词嵌入层　207  
4.3.4　代码实现：用梯度积分算法计算模型的可解释性　208  
4.3.5　代码实现：输出模型可解释性的可视化图像　2*0  
4.4　实例：用Bertviz工具可视化BERT模型权重　2**  
4.4.*　什么是Bertviz工具　2*2  
4.4.2　代码实现：载入BERT模型并可视化其权重　2*2  
4.4.3　解读BERT模型的权重可视化结果　2*6  
4.5　实例：用可解释性理解图像处理相关的*经网络模型　2*9  
4.5.*　代码实现：载入模型并进行图像分类　2*9  
4.5.2　代码实现：用4种可解释性算法对模型进行可解释性计算　220  
4.5.3　代码实现：可视化模型的4种可解释性算法结果　22*  
4.6　实例：用可解释性理解图片分类相关的*经网络模型　222  
4.6.*　了解Grad-CAM方法　223  
4.6.2　代码实现：加载ResNet*8模型并注册钩子函数提取*征数据　225  
4.6.3　代码实现：调用模型提取中间层*征数据和输出层权重　226  
4.6.4　代码实现：可视化模型的识别区域　227  
第5章　识别未知分类的方法——零次 学习　229  
5.*　了解零次学习　230  
5.*.*　零次学习的思想与原理　230  
5.*.2　与零次学习有关的常用数据集　232  
5.*.3　零次学习的基本做法　233  
5.*.4　直推式学习　233  
5.*.5　泛化的零次学习任务　233  
5.2　零次学习中的常见问题　233  
5.2.*　*域漂移问题　234  
5.2.2　原型*疏性问题　235  
5.2.3　语义间隔问题　235  
5.3　带有视觉结构约束的VSC模型　236  
5.3.*　分类模型中视觉*征的本质　236  
5.3.2　VSC模型的原理　237  
5.3.3　基于视觉中心点学习的约束方法　238  
5.3.4　基于倒角距离的视觉结构约束方法　239  
5.3.5　什么是对称的倒角距离　239  
5.3.6　基于二分匹配的视觉结构约束方法　239  
5.3.7　什么是指派问题与耦合矩阵　240  
5.3.8　基于W距离的视觉结构约束方法　240  
5.3.9　什么是最*传输　24*  
5.3.*0　什么是最*传输中的熵 正则化　242  
5.4　详解Sinkhorn 算法　244  
5.4.*　Sinkhorn算法的求解转换　244  
5.4.2　Sinkhorn算法的原理　245  
5.4.3　Sinkhorn算法中参数ε的 原理　246  
5.4.4　举例Sinkhorn算法过程　246  
5.4.5　Sinkhorn算法中的质量守恒　248  
5.4.6　Sinkhorn算法的代码实现　250  
5.5　实例：使用VSC模型来识别未知类别的鸟类图片　252  
5.5.*　样本介绍：用于ZSL任务的鸟类数据集　252  
5.5.2　代码实现：用迁移学习的方式获得 训练数据集分类模型　253  
5.5.3　使用分类模型提取图片视觉 *征　254  
5.5.4　代码实现：用多层图卷积*经 网络实现VSC模型　255  
5.5.5　代码实现：基于W距离的损失 函数　256  
5.5.6　加载数据并进行训练　257  
5.5.7　代码实现：根据*征距离对图片 进行分类　258  
5.6　针对零次学习的性能分析　259  
5.6.*　分析视觉*征的质量　259  
5.6.2　分析直推式学习的效果　260  
5.6.3　分析直推模型的能力　26*  
5.6.4　分析未知类别的聚类效果　262  
5.6.5　清洗测试集　263  
5.6.6　利用可视化方法进行辅助分析　264  
第6章　异构图*经网络　267  
6.*　异构图的基础知识　268  
6.*.*　同构图与异构图　268  
6.*.2　什么是异构图*经网络　268  
6.*.3　二分图　268  
6.*.4　局*图卷积　270  
6.2　二分图的实现方式　270  
6.2.*　用NetworkX实现二分图　270  
6.2.2　使用DGL构建二分图　272  
6.2.3　二分图对象的调试技巧　275  
6.3　异构图的实现方式　276  
6.3.*　*建异构图　276  
6.3.2　设置异构图的节点个数　277  
6.3.3　异构图结构的查看方式　278  
6.3.4　异构图与同构图的相互转化　280  
6.3.5　异构图与同构图的属性操作方式　28*  
6.4　随机行走采样　282  
6.4.*　什么是随机行走　283  
6.4.2　普通随机行走　283  
6.4.3　带停止概率的随机行走　284  
6.4.4　带路径概率的随机行走　284  
6.4.5　基于原图的随机行走　285  
6.4.6　在基于异构图的随机行走中设置停止概率　286  
6.4.7　基于随机行走采样的数据处理　287  
6.4.8　以随机行走的方式对邻居节点采样　287  
6.5　DGL库中的块图结构　289  
6.5.*　设计块图的动机　289  
6.5.2　将同构图转化成块图　290  
6.5.3　块图的属性操作　290  
6.5.4　将二分图转化成块图　29*  
6.6　实例：使用PinSAGE模型搭建推荐系统　292  
6.6.*　准备MoiveLens数据集　292  
6.6.2　代码实现：用Panadas库加载数据　293  
6.6.3　Categories与category 类型　294  
6.6.4　代码实现：生成异构图　295  
6.6.5　代码实现：用边分组方法拆分并*存数据集　296  
6.6.6　PinSAGE模型　299  
6.6.7　代码实现：构建带有邻居节点采样功能的数据加载器　300  
6.6.8　代码实现：PinSAGE模型的采样 过程　305  
6.6.9　代码实现：搭建PinSAGE模型　309  
6.6.*0　代码实现：实例化PinSAGE模型类并进行训练　3*5  
6.6.**　代码实现：用PinSAGE模型为 用户推荐电影　3*5  
6.6.*2　扩展：在PinSAGE模型中融合 更多的*征数据　3*7  
6.7　总结　3*7