scrapy自定义pipeline类实现将采集数据保存到mongodb的方法

5b51 2022/1/14 8:18:03 python 字数 2081 阅读 365 来源 www.jb51.cc/python

本文实例讲述了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法。分享给大家供大家参考。具体如下：

概述

本文实例讲述了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法。分享给大家供大家参考。具体如下：

# Standard Python library imports
# 3rd party modules
import pymongo
from scrapy import log
from scrapy.conf import settings
from scrapy.exceptions import DropItem
class MongoDBPipeline(object):
  def __init__(self):
    self.server = settings['MONGODB_SERVER']
    self.port = settings['MONGODB_PORT']
    self.db = settings['MONGODB_DB']
    self.col = settings['MONGODB_COLLECTION']
    connection = pymongo.Connection(self.server,self.port)
    db = connection[self.db]
    self.collection = db[self.col]
  def process_item(self,item,spider):
    err_msg = ''
    for field,data in item.items():
      if not data:
        err_msg += 'Missing %s of poem from %s\n' % (field,item['url'])
    if err_msg:
      raise DropItem(err_msg)
    self.collection.insert(dict(item))
    log.msg('Item written to MongoDB database %s/%s' % (self.db,self.col),level=log.DEBUG,spider=spider)
    return item

希望本文所述对大家的python程序设计有所帮助。

总结

以上是编程之家为你收集整理的scrapy自定义pipeline类实现将采集数据保存到mongodb的方法全部内容，希望文章能够帮你解决scrapy自定义pipeline类实现将采集数据保存到mongodb的方法所遇到的程序开发问题。

如果您也喜欢它,动动您的小指点个赞吧

除非注明，文章均由 laddyq.com 整理发布，欢迎转载。

转载请注明：
链接：http://laddyq.com
来源：laddyq.com
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

scrapy自定义pipeline类实现将采集数据保存到mongodb的方法

概述

总结

分类汇总

您的鼓励是对我最大的支持