本文整理自韦玮老师的《Python大型网络爬虫项目开发实战》课程
一 编写思路介绍
大型商城爬虫项目的难点在于：
1、屏蔽数据的获取--抓包
2、信息提取--优先选XPath，其次正则
3、各种反爬手段--验证码、用户代理、IP代理、取消cookie
4、数据的合理存储--写进数据库中
5、爬取效率的问题--同时运行多个爬虫
二、创建项目
1、网站分析，获取爬取思路
要获取的目标信息：商品的标题、链接、累计评论、价格
爬取某一类商品：零食
多页商品网址结构分析，主要是页数标记的规律，总结出的页数公式：（n-1)*44
比如最简化后第2页网址：https://s.taobao.com/search?q=%E9%9B%B6%E9%A3%9F&s=44
2、实战
待续