flask+ Redis抓取代理构建代理池

运行环境
Python 3.6

(请务必保证Python的版本在3.6以上，否则异步检验无法使用。)

Redis

Redis官网并没有提供Windows的安装版，Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB，VS 2015编译)。

安装
① 直接使用
安装依赖
$ pip install -r requirements.txt

Windows用户如果无法安装lxml库请点击这里。

打开代理池和API
$ cd proxypool

$ python3 run.py

② 安装使用
安装
$ cd proxypool

$ python setup.py install

打开代理池和API
$ proxypool_run

使用API获取代理
访问http://127.0.0.1:5000/进入主页，如果显示’Welcome’，证明成功启动。

pic

访问http://127.0.0.1:5000/get可以获取一个可用代理。

pic

访问http://127.0.0.1:5000/count可以获取代理池中可用代理的数量。

pic

也可以在程序代码中用相应的语言获取，例如:

import requests
from bs4 import BeautifulSoup
import lxml

def get_proxy():
r = requests.get(‘http://127.0.0.1:5000/get’)
proxy = BeautifulSoup(r.text, “lxml”).get_text()
return proxy
源码：https://github.com/huhu1314/python_spider/tree/master/ProxyPool-master