scrapy-redis环境配置

1. python 3.4

Linux机器中已经装有python2.7.6以及python3.4.3，然而默认的python所执行的是python2.7。将Linux下python的默认版本从python2.7改成python3.4使用的是命令

update-alternatives。

在shell中执行命令update-alternatives设置python的优先级：（python3优先级较高）

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

如果要从python3切换成python2则使用以下命令（manual mode人工选择python版本）：

sudo update-alternatives --config python

2. scrapy (>= 1.1)

配置scrapy之前需要分别先用apt-get以及pip安装以下依赖包

apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

pip install pyOpenSSL cryptography cffi pycparser

安装完之后即使用pip安装scrapy即可（安装scrapy所遇到的问题写在 另一篇博文中）

pip install scrapy

3. redis (>= 2.8)

apt-get install redis-server

4. redis-py (>= 2.1)

pip install redis

5. scrapy_redis

pip install scrapy_redis

可以由git clone下载scrapy_redis的 github repository，从而测试功能。