PyCharm新建运行入门Scrapy 项目

       Scrapy 没有办法直接在PyCharm中建立，要在控制台里边建立，在PyCharm中编辑运行，Scrapy 安装和环境变量配置不再赘余。

       1、新建Scrapy项目，使用命令：

scrapy startproject spiderstest

       2、打开PyCharm，File->open，然后选择项目 ：

       3、编写我们的爬虫代码，在spiders文件夹里建立spiderstest.py，爬虫测试代码如下：

import scrapy


class spiders_test(scrapy.Spider):
    name = "testspiders"

    def start_requests(self):
        urls = [
            'http://www.e110119.com/news/4/1.html',
            'http://www.e110119.com/news/4/2.html',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for line in response.xpath('//div[@class="describe"]'):
            print(line.xpath('h2/a').extract())

       4、在项目中再建立start.py，用来运行爬虫脚本，这里需要注意，为什么要建立一个这个脚本，而不是直接执行爬虫脚本，因为我们一个项目中可能会有多个脚本，不能每个脚本都配置一次执行，所以通过统一的执行配置来操作，省去很多麻烦。代码如下：

from scrapy import cmdline

cmdline.execute(['scrapy', 'crawl', 'testspiders'])

       5、配置运行start.py脚本：

       Script path 选择start.py脚本位置，然后apply-ok。

      6、运行脚本，配置完上边之后，我们就可以点击绿色箭头，选择执行脚本了

       运行结果：

       我们可以看到，想获取内容已经显示出来了。入门例子就是这样，还有很多不足，欢迎一起讨论。