在Python Celery中,如何在连续的工作调用中持久保存对象？

5b51 2022/1/14 8:22:29 python 字数 1202 阅读 544 来源 www.jb51.cc/python

我正在使用Celery来自动化一些屏幕抓取.我正在使用Selenium打开Chrome webdriver,操作页面,保存一些数据,然后转到队列中的下一页.问题在于它为队列中的每个任务构建和分解Web驱动程序,这非常耗时且占用大量资源. 如何在通话中保留对象？我已经阅读了有关Celery中连接池的一些内容,但我不清楚这是如何工作的 – 我在哪里构建webdriver – 在任务文件或主排队文件中？

概述

如何在通话中保留对象？我已经阅读了有关Celery中连接池的一些内容,但我不清楚这是如何工作的 – 我在哪里构建webdriver – 在任务文件或主排队文件中？如果是后者,工人们如何知道使用哪个webdriver？

例：

scrape.py：

for page in list:  
  scrape.delay(str(row['product_id']),str(row['pg_code']))

tasks.py：

def scrape:
  # do some stuff

http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation

总结

以上是编程之家为你收集整理的在Python Celery中,如何在连续的工作调用中持久保存对象？全部内容，希望文章能够帮你解决在Python Celery中,如何在连续的工作调用中持久保存对象？所遇到的程序开发问题。

如果您也喜欢它,动动您的小指点个赞吧

除非注明，文章均由 laddyq.com 整理发布，欢迎转载。

转载请注明：
链接：http://laddyq.com
来源：laddyq.com
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

在Python Celery中,如何在连续的工作调用中持久保存对象？

概述

总结

分类汇总

您的鼓励是对我最大的支持