目录

●项目1
数据采集与预处理准备1
学习目标1
项目描述1
任务1认识数据采集技术，熟悉数据采集平台1
任务描述1
任务目标2
知识准备2
任务实施10
任务2认识数据预处理技术13
任务描述13
任务目标13
知识准备13
任务实施19
项目2
网络爬虫实践24
学习目标24
项目描述24
任务1使用urllib爬取北京公交线路信息24
任务描述24
任务目标25
知识准备25
任务实施48
任务2使用Selenium爬取淘宝网站信息58
任务描述58
任务目标58
知识准备58
任务实施69
任务3使用Scrapy爬取北京公交信息75
任务描述75
任务目标75
知识准备75
任务实施78
任务4创新与拓展86
任务描述86
任务目标86
项目3
日志数据采集实践87
学习目标87
项目描述87
任务1Flume的安装和配置87
任务描述87
任务目标88
知识准备88
任务实施95
任务2Flume采集数据上传到集群105
任务描述105
任务目标106
知识准备106
任务实施110
任务3创新与拓展118
任务描述118
任务目标118
项目4
数据预处理实践119
学习目标119
项目描述119
任务1用Pig进行数据预处理119
任务描述119
任务目标120
知识准备120
任务实施134
任务2用Kettle进行数据预处理137
任务描述137
任务目标137
知识准备137
任务实施139
任务3用Pandas进行数据预处理150
任务描述150
任务目标150
知识准备150
任务实施153
任务4用OpenRefine进行数据预处理155
任务描述155
任务目标155
知识准备155
任务实施157
任务5用Flume Interceptor对日志信息进行数据预处理162
任务描述162
任务目标163
知识准备163
任务实施167
任务6创新与拓展176
任务描述176
任务目标176