Python爬虫入门记（6）- 异步爬取 - 1（概念）

六、异步爬取 - 1（概念）

1. 异步加载

异步加载的数据，简单来讲，就是网址不变化，内容变多或变少，动态加载数据，类似有些评论区翻页，百度地图地点的显示，百度图片不停的往下拉等，以下是部分典型的例子：

1. 人民网:http://liuyan.people.com.cn/threads/list?fid=5062&position=1
2. Ｂ站评论区:https://www.bilibili.com/video/BV1Mf4y197cj
3. 百度地图:https://map.baidu.com
4. 网易邮箱注册:https://mail.163.com/register/index.htm
5. 百度图片

2. 辅助工具

1. Chrome浏览器调试工具
2. Postman：网址 https://www.postman.com/downloads/
3. JSON在线解析: https://www.sojson.com/

3. 实现原理

4. 部分概念

5. JSON对象举例

{
	"note": [
	{"to": "Tove"},
	{"from": "Jani"},
	{"heading": "Reminder"},
	{"body": "Don't forget me this weekend!"}
	]
}

6. 异步数据判断

1. 判断是否为异步加载
2. 找到异步请求的链接并分析规律：参数-规律
3. 获取返回的JSON数据并解析：转换-解析