爬虫之获取JSON数据

1.获取网站url

由于版权原因这里就不贴网址了,随便一个网址都可以,然后获取它的url

2.寻找网站的User-Agent

在这里插入图片描述

3.代码

import urllib.request

url = 'https://xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
# 反爬手段
headers = {

    'User-Agent': 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'

}
# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 获取响应数据
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')//注意网站的编码可能不一样
# 数据下载到本地
fp = open('douban.json', 'w', encoding='utf-8')//生成douban.json文件
fp.write(content)

4.效果图

在这里插入图片描述


版权声明:本文为weixin_57662182原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。