scrapy安装和使用流程详细版

安装：
打开终端
为避免pip版本过低，先输入pip install --upgrade pip升级
一开始直接使用pip install Scrapy安装不成功，后采用whl格式的包安装。
首先安装wheel库：pip install wheel
验证是否安装成功：wheel

下载scrapy和Twist的whl包
网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/
Crtl+F直接搜索就好


将这两个文件保存在本地，要记住路径。我这里放在了C:\Users\11306
安装这两个包的时候要注意，一定要打开所在文件然后安装，如下图所示。

pip install Twisted-20.3.0-cp39-cp39-win_amd64.whl

pip install Scrapy-2.5.0-py3-none-any.whl

输入scrapy检查是否安装成功。

scrapy使用Twisted异步网络框架，可加快下载速度。优点是用少量的代码实现快速的抓取。
scrapy工作流程：

Spider(爬虫)和Item Pipeline(管道)需要手写
入门使用：
1.创建一个scrapy项目
scrapy startproject 项目名称
2.生成一个爬虫
scrapy genspider 文件名称 域名

scrapy genspider itcast itcast.cn

默认生成以下代码。