目录
●项目一 基于requests+xpath 采集网站文本数据 1
任务一 开发环境的准备和搭建 1
职业能力目标 1
任务描述与要求 2
知识储备 2
一、Python和PyCharm程序编辑器 2
二、原生类库requests 10
三、原生类库lxml 12
四、原生类库pymysql 12
任务计划与决策 13
任务实施 13
任务检查与评价 20
任务小结 21
任务拓展 21
任务二 爬虫程序实践 21
职业能力目标 21
任务描述与要求 21
知识储备 21
一、认识HTML 21
二、网页代码结构 23
三、通过浏览器查看网页源代码 23
任务计划与决策 24
任务实施 24
任务检查与评价 32
任务小结 32
任务拓展 33
项目二 使用feapder爬虫框架爬取房屋租售数据 35
任务一 开发环境的准备和搭建 35
职业能力目标 35
任务描述与要求 36
知识储备 36
任务计划与决策 36
任务实施 37
任务检查与评价 42
任务小结 42
任务拓展 43
任务二 爬虫程序实践 43
职业能力目标 43
任务描述与要求 43
知识储备 43
任务计划与决策 46
任务实施 46
任务检查与评价 56
任务小结 57
任务拓展 57
……
内容介绍
在大数据的时代背景下,使用网络爬虫是获取数据的一种重要手段,它可以减少我们生活中不必要的工作量。但是,千万不能乱用,因为涉及数据安全法,建议大家了解相关资料,合理规划爬虫。
《网络爬虫技术与应用(微课版)》介绍爬虫相关的常用工具及类库,基于Web、App的采集及项目的部署,不使用框架的普通爬虫脚本及使用两种爬虫框架的项目级爬虫。在实际工作中,feapder、scrapy这两个爬虫框架比较热门,企业使用得也比较多。掌握了爬虫框架,会让我们的开发工作事半功倍。《网络爬虫技术与应用(微课版)》主要包含requests、HTML、lxml、MySQL、JSON、JavaScript、Redis、jadx、pycharm、feappder、scrapy等内容,具体包含7个爬虫案例:基于requests+xpath采集网站文本数据、使用feapder爬虫框架爬取房屋租售数据、使用分布式爬虫......