最近写个小项目，需要用到scrapy框架，折腾了半天才折腾好，踩坑经验如下：
不能直接用pycharm创建scrapy项目，否则会导致各种奇葩报错问题，正确操作流程如下：
1、创建一个文件夹，使用cmd命令，cd到该文件夹，然后使用pip命令安装scrapy框架：
pip install scrapy
这个命令如果报错：ImportError: cannot import name SourceDistribution，请手动升级pip
升级命令：
curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
升级完成后重新执行pip install scrapy命令
此时文件夹中会自动创建一个scrapy项目，右键该文件夹使用pycharm打开该文件夹
2、创建爬虫
直接在pycharm的命令框输入
scrapy genspider 爬虫名称 爬虫URL
以上完成scrapy项目的创建（python版本：2.7）
版权声明：本文为yinerchong原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。