Python之requests爬虫

第一关：requests 基础

代码：

import requests


def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return:html
    '''
    
    # ***************** Begin ******************** #
    # 补充请求头
    header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
                "537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    # get请求网页
    response = requests.get(url, headers=header)
    # 获取网页信息文本
    html = response.text
    # ***************** End ******************** #
    return html

第二关：requests 进阶

代码：

import requests

def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return html 网页的源码
    :return sess 创建的会话
    '''
    
    # ***************** Begin ******************** # 
    # 补充请求头
    headers={ 
        'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/'
            '537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'}
    # 创建Session, 并使用Session的get请求网页
    sess = requests.session()
    response = sess.get(url,headers=headers)
    # 获取网页信息文本
    html = response.text
    # ****************** End ********************* #
    return html, sess