大数据采集与爬虫

9.6 数据持久化保存

9.5 获取动态数据

9.4 获取静态数据

9.3 模拟登录

9.2 页面分析

9.1 任务描述

任务9 综合案例

8.7 习题

8.6 小结

8.5 任务实现

8.4 Scrapy各组件的用法

8.3 Scrapy的安装

8.2 Scrapy

8.1 任务描述

任务8 使用Scrapy爬虫框架采集数据

7.4 习题

7.3 小结

7.2 使用Cookie实现模拟登录

7.1 使用Selenium和ChromeDriver实现模拟登录

任务7 模拟登录

6.6 习题

6.5 小结

6.4 点击式验证码解析

6.3 滑动验证码解析

6.2 自定义图形验证码解析

6.1 验证码概述

任务6 主流验证码解析

5.5 习题

5.4 小结

5.3 任务实现

5.2 AJAX

5.1 任务描述

任务5 使用AJAX采集数据

4.6 习题

4.5 小结

4.4 任务实现

4.3 Web API

4.2 GitHub

4.1 任务描述

任务4 使用Web API采集数据

3.7 习题

3.6 小结

3.5 任务实现

3.4 CSV和JSON格式

3.3 PyMySQL的使用

3.2 MySQL的安装及使用

3.1 任务描述

任务3 存储数据

2.8 习题

2.7 小结

2.6 任务实现

2.5 lxml库和BeautifulSoup库的安装及使用

2.4 requests库的安装及使用

2.3 网络基础知识

2.2 网络爬虫基础知识

2.1 任务描述

任务2 实现简单数据采集

1.9 习题

1.8 小结

1.7 任务实现

1.6 Python语句与函数

1.5 Python的数据类型

1.4 安装集成开发环境PyCharm

1.3 Python编程环境搭建

1.2 Python概述

1.1 任务描述

任务1 Python环境搭建

前言

版权信息

封面

封面

版权信息

前言

任务1 Python环境搭建

1.1 任务描述

1.2 Python概述

1.3 Python编程环境搭建

1.4 安装集成开发环境PyCharm

1.5 Python的数据类型

1.6 Python语句与函数

1.7 任务实现

1.8 小结

1.9 习题

任务2 实现简单数据采集

2.1 任务描述

2.2 网络爬虫基础知识

2.3 网络基础知识

2.4 requests库的安装及使用

2.5 lxml库和BeautifulSoup库的安装及使用

2.6 任务实现

2.7 小结

2.8 习题

任务3 存储数据

3.1 任务描述

3.2 MySQL的安装及使用

3.3 PyMySQL的使用

3.4 CSV和JSON格式

3.5 任务实现

3.6 小结

3.7 习题

任务4 使用Web API采集数据

4.1 任务描述

4.2 GitHub

4.3 Web API

4.4 任务实现

4.5 小结

4.6 习题

任务5 使用AJAX采集数据

5.1 任务描述

5.2 AJAX

5.3 任务实现

5.4 小结

5.5 习题

任务6 主流验证码解析

6.1 验证码概述

6.2 自定义图形验证码解析

6.3 滑动验证码解析

6.4 点击式验证码解析

6.5 小结

6.6 习题

任务7 模拟登录

7.1 使用Selenium和ChromeDriver实现模拟登录

7.2 使用Cookie实现模拟登录

7.3 小结

7.4 习题

任务8 使用Scrapy爬虫框架采集数据

8.1 任务描述

8.2 Scrapy

8.3 Scrapy的安装

8.4 Scrapy各组件的用法

8.5 任务实现

8.6 小结

8.7 习题

任务9 综合案例

9.1 任务描述

9.2 页面分析

9.3 模拟登录

9.4 获取静态数据

9.5 获取动态数据

9.6 数据持久化保存