Scrapy 与 Django 交互

总结一下 Scrapy 与 Django 交互需要注意的问题

首先是 Django 这部分的操作

常规创建项目,创建子应用,在setting.py注册子应用(爬虫部分无需注册)…

然后是 Scrapy 部分的代码

scrapy 框架所在的文件夹,与子应用并列

• 爬虫文件正常写

• items.py

   from scrapy_djangoitem import DjangoItem
   from app01 import models  # 导入表
  
   class NameItem(DjangoItem):
   	django_model = models.Name   # 改一下，表名
  

注意类的继承 并且,这个django_model变量名,不能自定义

• pipeline.py

   class NamePipeline(object):
   	def process_item(self, item, spider):
   		item.save()
   		return item
  

• 部分 settings.py

   import os
   import sys
   sys.path.append(os.path.dirname(os.path.abspath('.')))
   os.environ['DJANGO_SETTINGS_MODULE'] = 'Pro_Name.settings'   # 导入项目下的settings.py
   # 手动初始化Django：
   import django
   django.setup()
  

代码部分的差别就基本总结完了

命令行语句

• 无需进入spider目录,直接在scrapy框架的根目录输入命令