您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

使用aiohttp / asyncio进行1百万个请求 – 字面意思

5b51 2022/1/14 8:21:57 python 字数 1390 阅读 514 来源 www.jb51.cc/python

我跟进了这个教程:https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html,当我做50 000个请求时,一切正常.但我需要进行1百万个API调用,然后我对此代码有问题: url = 'http://some_url.com/?id={}'

概述

我跟进了这个教程:https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html,当我做50 000个请求时,一切正常.但我需要进行1百万个API调用,然后我对此代码有问题:

    url = "http://some_url.com/?id={}"
    tasks = set()

    sem = asyncio.Semaphore(MAX_SIM_CONNS)
    for i in range(1,LAST_ID + 1):
        task = asyncio.ensure_future(bound_fetch(sem,url.format(i)))
        tasks.add(task)

    responses = asyncio.gather(*tasks)
    return await responses

因为Python需要创建100万个任务,所以它基本上只是滞后,然后在终端中打印Killed消息.是否有任何方法可以使用预先制作的(或列表)网址的发生器?谢谢.

1百万RPS并不意味着有1M个任务.任务可以在同一秒内执行多个请求.

总结

以上是编程之家为你收集整理的使用aiohttp / asyncio进行1百万个请求 – 字面意思全部内容,希望文章能够帮你解决使用aiohttp / asyncio进行1百万个请求 – 字面意思所遇到的程序开发问题。


如果您也喜欢它,动动您的小指点个赞吧

除非注明,文章均由 laddyq.com 整理发布,欢迎转载。

转载请注明:
链接:http://laddyq.com
来源:laddyq.com
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


联系我
置顶