通过本书的学习，读者能够：·掌握数据挖掘的相关软件包，如dplyr、ggplot2等。·学会如何通过数据挖掘标准流程（CRISP_DM）来有效地组织数据挖掘项目。·对数据执行数据清理和数据验证操作—为数据挖掘活动准备数据。·以数值方式和图形方式分别执行探索性数据分析。·开发简单线性回归模型、多元线性回归模型以及逻辑回归模型。·应用基本的集成学习技术整合不同数据挖掘模型的结果。·对非结构化的PDF文件和文本数据执行文本挖掘及分析。·编制有效传达数据分析目标、方法和洞察的报告。 [意]安德烈亚·奇里洛（Andrea Cirillo）：目前就职于意大利联合圣保罗银行（Intesa Sanpaolo Banking Group），担任审计量化分析师一职。在此之前，他曾在德勤会计师事务所（Deloitte Touche Tohmatsu）从事财务和外部审计相关工作，以及在 FNM（一家意大利上市公司）从事内部审计相关工作。他目前的主要工作职责涉及信用风险管理模型的评估及改进—主要围绕巴塞尔协议Ⅲ这一领域。他与弗朗西丝卡（Francesca）结婚，并共同养育四个子女，他们的名字名别是：托马索（Tommaso）、吉安娜（Gianna）、扎卡里亚（Zaccaria）和菲利波（Filippo）。安德里亚（Andrea）曾编写并供稿一些有用的 R语言软件包，包括 updateR、ramazon 和 paletteR，此外，他会定期地分享一些关于 R 语言编程的深刻见解和教程。他的研究工作主要聚焦于通过建模定制算法以及开发交互式应用程序，实现 R 语言在风险管理和欺诈检测领域中的应用。 本书通过循序渐进的介绍，让读者借助基础以及先进的数据挖掘技术，帮助一个虚拟的商业公司解决对其造成负面影响的真实欺诈案例。通过全程参与这一极不寻常的数据挖掘案例，读者将会掌握数据挖掘方面的强大技能。 本书非常适合想通过R语言快速了解数据挖掘、预测分析、商业分析等领域的数据科学家和数据分析员阅读，也适合高等院校数据挖掘相关专业师生和对数据挖掘感兴趣的技术人员参考。 第 1 章 为何选择 R 语言 1 1.1 什么是 R 语言 11.2 R 语言的发展历史 21.3 R 语言的优势 21.3.1 开源 31.3.2 插件就绪 31.3.3 数据可视化友好 41.4 安装 R 语言、编写 R 语言代码 51.4.1 下载 R 语言软件包 51.4.2 应用于 Windows 平台和MacOS 平台的 R 语言软件包 51.4.3 应用于 Linux 平台的R 语言软件包 61.4.4 基础版本 R 语言包安装的主要组件 61.4.5 编写 R 语言及运行 R 语言代码的替代平台 81.5 R 语言的基本概念 111.5.1 R 语言初级入门 111.5.2 向量（Vector） 141.5.3 列表（Lists） 151.5.4 数据帧（Data frames） 171.5.5 函数（Functions） 181.6 R 语言的劣势以及如何克服这些劣势 201.6.1 高效学习 R 语言，最小化精力投入 211.6.2 通过 R 语言操作大型数据集 241.7 更多参考 251.8 小结 25 第 2 章 数据挖掘入门_读者银行账户数据分析 26 2.1 获取并准备银行数据 262.1.1 数据模型 272.2 使用数据透视表汇总数据 272.2.1 管道操作符简介 292.2.2 dplyr 程序包简介 302.2.3 安装必要程序包并将个人数据加载到 R 语言环境中 312.2.4 确定每月和每天的费用总额 322.4 使用 ggplot2 程序包对数据进行可视化处理 362.4.1 数据可视化基本原理 362.4.2 使用 ggplot 程序包来进行数据可视化 422.5 更多参考 472.6 小结 47 第 3 章 数据挖掘进阶_数据挖掘标准流程（CRISP_DM）方法论 49 3.1 数据挖掘标准流程（CRISP_DM）方法论之数据挖掘周期 503.2 业务理解 513.3 数据理解 513.3.1 数据收集 523.3.2 数据描述 523.3.3 数据探索 533.4 数据准备 573.5 建模 573.5.1 定义数据建模策略 583.6 评估 593.6.1 聚类评估 593.6.2 分类评估 603.6.3 回归评估 603.6.4 如何判断模型性能的充分性 613.7 部署 623.7.1 部署计划开发 623.7.2 维护计划开发 633.8 小结 64 第4 章 保持室内整洁_数据挖掘架构 65 4.1 概述 654.2 数据源 674.2.1 数据源类型 684.3 数据库和数据仓库 694.3.1 中间层_数据集市 704.3.2 单层架构的数据仓库 704.3.3 双层架构的数据仓库 714.3.4 三层架构的数据仓库 714.3.5 实际应用的技术 724.4 数据挖掘引擎 734.4.1 解释器 744.4.2 引擎和数据仓库之间的接口 744.4.3 数据挖掘算法 744.5 用户界面 754.5.1 清晰性原则 764.6 如何使用 R 语言来创建数据挖掘架构 794.6.1 数据源 794.6.2 数据仓库 804.6.3 数据挖掘引擎 804.6.4 用户界面 814.7 更多参考 824.8 小结 82 第 5 章 如何解决数据挖掘问题_数据清洗和验证 83 5.1 安静祥和的一天 835.2 数据清洗 855.2.1 Tidy data 框架 855.2.2 分析数据的结构 875.2.3 数据整理 935.2.4 验证数据 995.2.5 数据合并 1095.3 更多参考 1115.4 小结 111 第 6 章 观察数据 _ 探索性数据分析 113 6.1 汇总 EDA 介绍 1136.1.1 描述总体分布 1146.1.2 测定变量之间的相关性 1246.2 图形化 EDA 1306.2.1 变量分布可视化 1316.2.2 变量关系可视化 1366.2.3 更多参考 1416.3 小结 141 第 7 章 最初的猜想_线性回归 142 7.1 定义数据建模策略 1437.1.1 数据建模相关概念 1467.2 应用线性回归 1487.2.1 线性回归的直观解释 1497.2.2 线性回归的数学原理 1507.2.3 如何在 R 语言中使用线性回归 1527.3 更多参考 1617.4 小结 161 第 8 章 浅谈模型性能评估 163 8.1 定义模型性能 1638.1.1 模型的拟合度与模型的可解释性 1648.1.2 使用模型进行预测 1658.2 测量回归模型的性能 1678.2.1 均方误差 1678.2.2 R 平方 1728.3 衡量分类问题模型的性能 1778.3.1 混淆矩阵 1788.3.2 准确度 1808.3.3 灵敏度 1828.3.4 特异性 1828.3.5 如何选择合适的性能统计指标 1838.4 区分训练数据集与测试数据集 1848.5 更多参考 1858.6 小结 185 第 9 章 不要放弃_继续学习包括多元变量的回归 187 9.1 从简单线性回归到多元线性回归 1889.1.1 符号 1889.1.2 假设 1889.2 降维 1919.2.1 逐步回归 1929.2.2 主成分回归 1969.3 使用 R 语言拟合多元线性模型 1979.3.1 模型拟合 1979.3.2 变量的假设验证 2009.3.3 残差假设验证 2019.3.4 降维 2029.4 更多参考 2089.5 小结 208 第 10 章 关于分类模型问题的 不同展望 209 10.1 分类模型是什么？读者为什么需要分类模型 20910.1.1 线性回归应用于分类 变量的局限性 21010.1.2 常用的分类算法和 模型 21110.2 逻辑回归 21310.2.1 逻辑回归的原理 21310.2.2 逻辑回归的数学 原理 21510.2.3 如何在 R 中应用逻辑 回归 21810.2.4 逻辑回归结果的 可视化与解释 22410.3 支持向量机（SVM） 22810.3.1 支持向量机的 原支理 22910.3.2 在原 R 语言中应用支持 向量机 23410.3.3 理解支持向量机的 结果 23510.4 更多参考 238 10.5 小结 238 第 11 章 最后冲刺_随机森林和 集成学习 239 11.1 随机森林 23911.1.1 随机森林的构建模块_决策树 简介 24011.1.2 随机森林的原理 24311.1.3 在 R 语言中应用随机 森林 24311.1.4 评估模型的结果 24411.2 集成学习 24911.2.1 基础的集成学习技术 25011.2.2 采用 R 语言对数据进行 集成学习 25011.3 在新数据上应用估计模型 25611.3.1 将 predict.glm()函数用于 逻辑模型的预测 25711.3.2 将 predict.randomforest() 用于随机森林的预测 25811.3.3 将 predict.svm()函数应用于支持向量机的预测 25811.4 结构化更加良好的预测分析 方法 25811.5 对预测数据应用集成学习中的 多数投票技术 25911.6 更多参考 26011.7 小结 260 第 12 章 寻找罪魁祸首_用 R 语言执行 文本数据挖掘 262 12.1 提取 PDF 文件中的数据 26212.1.1 获取文档列表 26312.1.2 通过 pdf_text()函数将 PDF 文件读取到 R 语言 环境 26412.1.3 使用 for 循环迭代提取 文本 26612.2 文本情感分析 26912.3 开发词云 27212.4 N 元组模型（n_grams） 分析 27412.5 网络分析 27512.5.1 从数据帧中获取边 列表 27912.5.2 使用 ggraph 程序包可视化 网络 27912.6 更多参考 28312.7 小结 283 第 13 章 借助 R Markdown 与股东分享 公司现状 284 13.1 富有说服力的数据挖掘报告之 原则 28413.1.1 清晰阐明目标 28413.1.2 明确陈述假设 28513.1.3 数据处理过程清晰 明了 28513.1.4 数据一致性 28613.1.5 提供数据谱系 28613.2 编制 R MarkDown 报告 28713.3 在 RStudio 中编制 R Markdown 报告文档 28813.3.1 Markdown 简介 28813.3.2 插入代码块 289 13.3.3 通过内联 R 语言代码，在文本中重现代码的输出 29213.3.4 Shiny 简介以及 reactivity 框架 29313.3.5 添加交互式数据族谱 模块 29713.4 渲染和分享 R Markdown 报告 30113.4.1 渲染 R Markdown 报告 30113.4.2 分享 R Markdown 报告 30113.5 更多参考 30413.6 小结 304 第 14 章 结语 306 附录 A 处理日期、相对路径和函数 309 A.1 使用 R 语言处理日期 309A.2 R 语言中的工作目录和相对 路径 309A.3 条件声明 310