python爬虫:在搜狗通过关键字获取网页资源

代码如下：

import requests
# 指定url
url = 'https://www.sogou.com/web'
# 输入搜索关键字
keyword =input('enter a key word:')
# UA伪装 
# 浏览器不同但是其代理对象是一致的
headers = {
    'User-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
}
# 将关键字放入到字典当中
params ={
    'query':keyword
}
# 发起get请求
response = requests.get(url=url,params=params,headers=headers)
# 将get请求的数据以字符串的形式存储，再进行utf-8编码,在此之前要设置response的编码方式
response.encoding = 'utf-8'
page_text=response.text
# 持久化存储
with open('./hl.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

结果如下图：