爬虫

# -*- coding: utf-8 -*-
# author：xiaoming time:2020/8/12


# 一 发送请求--数据采集 requests/urllib
    # 1.用户请求的headers
        # ①.模拟浏览器从浏览器拿header信息  User-Agent池
        # ②.Referer池  防盗链参数，可以指向需要爬取的网站地址。其表示浏览器所访问的前一个页面，可以认为是之前访问页面的链接将浏览器带到了当前页面
    # 2.基于用户行为
        # ①.IP代理池  反爬，有免费和付费
        # ②.添加随机延迟时间，减小对爬取网站的压力
        # ③.cookies池可以考虑随机生成，公开网站不需要登录，需要登录的单独再处理（fiddler抓包或selenium登录获取cookies）
    # 3.动态页面
        # ①.解析CSS自定义字体
        # ②.js异步加载
        # ③.验证码问题  PhantomJS是一个Python包，无界面浏览器，能解决大部分反爬问题。


# 二 分析结果--数据分析  BeautifulSoup(html5lib)/re
    # 1.BeautifulSoup       https://beautifulsoup.readthedocs.io/zh_CN/latest/
    # 2.增量更新
        # ①按日期更新
        # ②对比数据
    # 3.页码处理


# 三 结果入库--数据存储  sqlalchemy