数据采集与处理：基于Python（新编21世纪数据科学与大数据技术系列教材）

作者：付东普

书号：325682

定价：￥39 元

字数：404 千字

印次：1-1

开本：16

出版时间：2024-04-01

ISBN：978-7-300-32568-2

包装：平

本书的主旨是介绍如何结合Python3语言进行各类结构化和非结构化数据的采集、预处理和存储，涉及统计概率、数据格式与编码、网页开发、自然语言处理、数据科学等不同领域的内容。全书共分为11章，包括数据科学概述、Python基础、统计与概率基础、文件读写与操作、数据可视化、网络数据爬取等多个主题。内容覆盖本地文件、网页数据、大数据访问等编程中的主要知识和技术，在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示了数据采集、处理与存储的核心流程。本书适合高等院校计算机、数据科学与大数据技术、软件工程、统计等相关专业的师生以及Python语言初学者、网络爬虫技术爱好者、数据分析从业人士阅读。

付东普，首都经济贸易大学管理工程学院副教授，中国人民大学管理学博士，北京交通大学应用经济学博士后，高级系统架构设计师。研究领域包括电子商务、消费者行为和互联网金融，讲授课程包括数据分析理论与实践、数据采集与存储、互联网金融、管理信息系统、现代软件工程等。在《管理科学学报》《经济管理》《经济与管理研究》、Electronic Commerce Research等国内外学术期刊及国际会议发表论文20余篇，出版专著2部。有十多年软件开发、设计和管理经验，成功完成了多个数据分析项目。

第一章 概 述

第一节 数据科学概述

第二节 数据采集概述

第三节 数据存储概述

第四节 Python相关数据科学工具

思考与练习

延伸阅读材料

第二章 Python基础

第一节 Python简介

第二节 Python基本语法与命令

第三节 运算符、表达式与内置对象

第四节 函数

第五节 异常及其处理

思考与练习

延伸阅读材料

第三章 numpy与pandas基础

第一节 numpy基础

第二节 pandas基础

思考与练习

延伸阅读材料

第四章 数据可视化

第一节 数据可视化概述

第二节 matplotlib绘图工具

第三节 其他数据可视化工具

思考与练习

延伸阅读材料

第五章 文件读写与操作

第一节 文件读写基本操作

第二节 CSV文件读写

第三节 XML文件读写

第四节 JSON文件读写

第五节 HDF文件读写

第六节 Office文件读写

第七节 PDF文件读写

第八节 图像文件读写

思考与练习

延伸阅读材料

第六章 统计与概率基础

第一节 统计基础

第二节 概率与分布

思考与练习

延伸阅读材料

第七章 数据清洗与预处理

第一节 数据清洗

第二节 数据整合

第三节 数据变换

第四节 聚合与分组统计

第五节 数据归约

思考与练习

延伸阅读材料

第八章 网络数据采集

第一节 爬虫的相关概念与知识

第二节 HTML与JavaScript基础

第三节 静态网页内容爬取与解析

第四节 动态网页内容爬取

第五节 爬虫框架Scrapy与应用

思考与练习

延伸阅读材料

第九章 关系型数据库连接与访问

第一节 关系型数据库概述

第二节 SQLite数据库连接与访问

第三节 MySQL数据库连接与访问

思考与练习

延伸阅读材料

第十章 大数据存储与访问技术

第一节 大数据技术

第二节 非关系型数据库简介

第三节 MongoDB数据库连接与访问

思考与练习

延伸阅读材料

第十一章 数据集成与ETL技术

第一节 数据集成

第二节 ETL相关技术与工具

思考与练习

延伸阅读材料

参考文献

数据可视化是艺术与技术的结合。它将各种数据用图形化的方式呈现出来，为用户展示已知数据之间的规律、趋势和相关关系，帮助用户认识数据，发现这些数据反映的实质。因此，数据可视化是数据探索性分析的重要组成部分，有助于用户发现数据之间的分布特征、相互关系和总体趋势，为进一步的数据处理和分析提供直观参考。

比如，使用pyecharts可以让开发者轻松地实现大数据的可视化。例如，用pyecharts的v 1.x版本绘制四个商家衬衫、羊毛衫、雪纺衫、裤子、高跟鞋、袜子的销量的柱状图，相关代码及结果如下：

import random

import pyecharts.options as opts

from pyecharts.charts import Bar

x_vals = ['衬衫', '羊毛衫', '雪纺衫', '裤子', '高跟鞋', '袜子']

bar = (

Bar()

.add_xaxis(x_vals)

.add_yaxis('商家A', [random.randint(10, 100) for_in range(6)])

.add_yaxis('商家B', [random.randint(10, 100) for_in range(6)])

.add_yaxis('商家C', [random.randint(10, 100) for_in range(6)])

.add_yaxis('商家D', [random.randint(10, 100) for_in range(6)])

.set_series_opts(label_opts=opts.LabelOpts(is_show=True, font_size=14), markline_opts=opts. MarkLineOpts(data=[opts.MarkLineItem(y=40, name=“达标线=40“)]))

.set_global_opts(title_opts=opts.TitleOpts(title='柱状图示例-销量', subtitle='四个商家'), xaxis_opts=opts.AxisOpts(name='商品'),yaxis_opts=opts.AxisOpts(name='单位:件')))

bar.render('柱状图.html')