本书是中国信息协会大数据分会副会长刘鹏教授组织编撰的“高级大数据人才培养丛书”之一。本书是一本全面的、从入门到实践的Python编程教程，从带领读者快速掌握基本的Python编程知识开始，循序渐进、层层深入地引导读者利用新学到的知识开发功能丰富的项目。本书首先介绍了Python基础；接着介绍了数据类型、文件、程序调试、面向对象程序设计、连接数据源等基本知识；然后结合网络爬虫、数据挖掘、自然语言处理、数据可视化、Web和移动应用等工具，以案例为依托进行项目实战；最后介绍了国内各种云服务平台，以及如何运用Python实现访问。本书的全部实验均可在大数据实验平台（https://bd.cstor.cn/login）上远程开展，也可在高校部署的BDRack大数据实验一体机上本地开展

    张雪萍，女，博士，教授，教育部新世纪优秀人才支持计划入选者，河南省高校科技创新人才支持计划入选者，河南省高校优秀青年骨干教师，河南省教育厅学术技术带头人，全国高等学校计算机教育研究会理事。主要研究方向包括空间数据挖掘与信息共享、智能信息处理技术、数据库版权保护、软件测试等。近年来，主持承担并完成河南省自然科学基金研究项目、河南省科技攻关研究项目等8项，参与完成国家“八五”、“十五”科技攻关项目2 项，参与完成省级鉴定项目6项。目前主持承担教育部新世纪优秀人才计划、教育部空间数据挖掘与信息共享重点实验室开放基金、河南省高校科技创新人才计划等在研项目5项。

第1章  Python基础1

1.1  Python简介1

1.2  Python的安装与运行3

1.3  Python版本的选择8

1.4  程序控制11

1.4.1  Python赋值语句11

1.4.2  顺序结构18

1.4.3  选择结构19

1.4.4  循环结构22

1.5  绘图27

1.5.1  创建turtle对象27

1.5.2  turtle绘图的基础知识29

1.5.3  利用turtle库提供的方法绘制图形31

1.6  函数37

1.6.1  函数的定义37

1.6.2  函数的调用39

1.6.3  lambda函数42

习题42

参考文献43

第2章  数据类型44

2.1  核心内置数据类型概述44

2.2  数字类型声明及基本运算47

2.2.1  整型47

2.2.2  浮点型47

2.2.3  复数类型47

2.2.4  数字运算符48

2.2.5  数字类型的常用函数及math库49

2.2.6  数字类型转换函数51

2.2.7  浮点型精度处理52

2.3  列表53

2.3.1  列表基本特征53

2.3.2  序列通用操作55

2.3.3  可变序列及列表通用操作（一）58

2.3.4  可变序列及列表通用操作（二）59

2.4  元组62

2.5  range64

2.6  哈希运算66

2.7  字典67

2.7.1  字典概述及声明67

2.7.2  字典元素的访问71

2.7.3  字典常用方法71

2.8  字符串74

2.8.1  字符串的声明74

2.8.2  转义字符76

2.8.3  字符串序列通用操作77

2.8.4  字符串常用内置方法78

习题82

参考文献83

第3章  文件84

3.1  读写文件84

3.1.1  文件对象声明与基本操作84

3.1.2  编码问题89

3.1.3  文件写入操作90

3.1.4  列表推导式92

3.1.5  关闭文件94

3.1.6  上下文语法94

3.1.7  生成器95

3.2  遍历目录树97

3.3  处理Word文件102

3.3.1  Python-docx库102

3.3.2  利用Python-docx库读Word文件102

3.3.3  利用docx创建Word文件104

3.4  处理.pdf文件105

3.5  处理压缩文件107

习题111

参考文献112

第4章  程序调试113

4.1  异常113

4.2  断言127

4.3  日志131

4.4  调试器138

习题144

参考文献144

第5章  面向对象程序设计146

5.1  面向对象程序技术的基本概念146

5.2  类的定义和对象148

5.3  构造函数和析构函数150

5.4  类属性和实例属性151

5.5  类的方法152

5.5.1  类方法152

5.5.2  实例方法152

5.5.3  静态方法152

5.5.4  类的特殊方法154

5.6  类的继承性160

5.6.1  单一继承160

5.6.2  多重继承162

5.7  类的多态性164

习题164

参考文献165

第6章  连接数据源166

6.1  导入CSV数据166

6.1.1  CSV数据的格式166

6.1.2  Python读取CSV文件167

6.1.3  Python写CSV文件169

6.2  导入Excel数据170

6.2.1  Python读取Excel文件171

6.2.2  Python写Excel文件171

6.3  导入JSON数据172

6.3.1  JSON数据的格式172

6.3.2  Python解码JSON数据172

6.3.3  Python编码JSON数据173

6.3.4  Python处理JSON数据文件174

6.4  访问数据库175

6.4.1  数据库的查询操作177

6.4.2  数据库的插入操作178

6.4.3  数据库的删除操作178

6.4.4  数据库的修改操作179

习题179

参考文献180

第7章  网络爬虫181

7.1  网络爬虫工作的基本原理181

7.1.1  网页的概念181

7.1.2  网络爬虫的工作流程182

7.1.3  Python与网络爬虫183

7.2  网页内容获取——requests库183

7.2.1  requests对象184

7.2.2  response对象184

7.3  网页内容解析——BeautifulSoup 库185

7.3.1  BeautifulSoup 库概述185

7.3.2  beautifulsoup4 库常用方法和Tag节点187

7.4  正则表达式188

7.4.1  正则表达式概念188

7.4.2  正则表达式元字符介绍190

7.4.3  正则表达式的常用函数介绍194

7.5  实战：热门电影搜索195

7.6  实战：大数据相关论文文章标题采集196

7.7  实战：全国空气质量爬取198

习题199

参考文献200

第8章  数据挖掘201

8.1  Python常用数据分析工具201

8.1.1  Numpy201

8.1.2  Scipy202

8.1.3  pandas202

8.1.4  Scikit-Learn203

8.2  数据预处理204

8.2.1  数据清理204

8.2.2  数据集成205

8.2.3  数据变换206

8.2.4  Python数据预处理206

8.3  分类与预测210

8.3.1  特征选择210

8.3.2  性能评估210

8.3.3  实现过程212

8.3.4  分类与预测的常用方法213

8.4  聚类分析235

8.4.1  聚类分析定义235

8.4.2  聚类分析评价标准235

8.4.3  数据相似度度量236

8.4.4  聚类分析的常用方法237

8.5  实战：信用评估247

8.5.1  数据加载及说明247

8.5.2  数据预处理248

8.5.3  划分数据集249

8.5.4  模型建立及参数调优250

8.5.5  模型测试及分析252

8.6  实战：影片推荐系统255

8.6.1  推荐系统255

8.6.2  python-recsys简介256

8.6.3  影片推荐256

习题258

参考文献258

第9章  自然语言处理260

9.1  Python 常用自然语言处理工具260

9.1.1  Python自然语言处理工具包NLTK260

9.1.2  Python中文处理工具jieba260

9.1.3  Python语法解析器PLY261

9.2  文本处理261

9.2.1  文本获取261

9.2.2  文本表示262

9.2.3  文本特征词提取263

9.3  词法分析268

9.3.1  分词268

9.3.2  词性标注270

9.3.3  命名实体识别271

9.3.4  去停用词272

9.3.5  中文分词实战275

9.4  语法分析277

9.4.1  语法分析简介277

9.4.2  语法树277

9.4.3  语法分析算法278

9.4.4  语法分析示例280

9.5  实战：搜索引擎282

习题290

参考文献291

第10章  数据可视化292

10.1  用Pillow操作图像292

10.1.1  图像的基本知识292

10.1.2  图像处理中常用的模块和函数293

10.1.3  案例介绍296

10.2  用Matplotlib绘图298

10.2.1  Matplotlib常用函数介绍299

10.2.2  折线图的函数定义及属性说明299

10.2.3  案例介绍300

10.3  调用Echarts308

习题310

参考文献310

第11章  Web和移动应用311

11.1  Web框架Django311

11.1.1  Django简介311

11.1.2  Web框架311

11.1.3  MVC和MTV模式312

11.1.4  Django的安装313

11.2  Python Web开发314

11.2.1  创建项目314

11.2.2  Django 模板316

11.2.3  Django 模型318

11.2.4  Django Admin管理工具323

11.2.5  Django Nginx+uwsgi 安装配置330

11.3  Python移动应用开发333

11.3.1  Python Kivy333

11.3.2  Python 移动应用开发334

11.3.3  基于Python开发2048游戏335

习题340

参考文献341

第12章  与云结合342

12.1  阿里云342

12.1.1  阿里云架构