scrapy打包无法运行
解决方法
建议采用脚本运行,下面是main.py
参考文档:https://docs.scrapy.org/en/latest/topics/practices.html
# 第一步:导入scrapy工具类
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import scrapy.utils.misc
import scrapy.core.scraper
# 第二步:导入爬虫和项目文件(这里是防止打包错误)
from project.spiders import Spider
import project.items
import project.pipelines
import project.settings
import project.middlewares
# 第三步:重写scrapy框架方法,防止打包出错
def warn_on_generator_with_return_value_stub(spider, callable):
pass
scrapy.utils.misc.warn_on_generator_with_return_value = warn_on_generator_with_return_value_stub
scrapy.core.scraper.warn_on_generator_with_return_value = warn_on_generator_with_return_value_stub
# main方法,运行爬虫
if __name__ == '__main__':
process = CrawlerProcess(get_project_settin)
process.crawl(Spider)
process.start()
版权声明:本文为zhongjianboy原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。