你实际上已经通过编辑回答了它。最好的选择是设置scrapyd服务并进行API调用schedule.json以触??发抓取作业运行。
要进行该API http调用,你可以使用urllib2/ requests
,也可以在scrapydAPI
- 周围使用包装器python-scrapyd-api:
from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
scrapyd.schedule('project_name', 'spider_name')
如果我们搁置一边scrapyd
并尝试从视图中运行Spider,它将阻止请求,直到扭曲的反应堆停止为止-因此,这实际上不是一种选择。
不过,你可以开始使用celery
(与串联django_celery
)-定义一个任务,该任务将运行Scrapy Spider,并从django视图中调用该任务。这样,你可以将任务放在队列中,而不会让用户等待爬网完成。
另外,看看django-dynamic-scraper软件包:
Django Dynamic Sc??raper(DDS)是用于Django的应用程序,基于cracking框架Scrapy构建。在保留Scrapy的许多功能的同时,它还允许你通过Django管理界面动态创建和管理蜘蛛。能会朝着正确的方向前进。