您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在scrapy框架python的start_urls列表中为url构造正则表达式

在scrapy框架python的start_urls列表中为url构造正则表达式

如果我正确理解您的要求,则需要大量具有特定模式的起始URL。

如果是这样,则可以重写BaseSpider.start_requests方法

class ExampleSpider(BaseSpider):
    name = "test_code"
    allowed_domains = ["www.example.com"]

    def start_requests(self):
        for i in xrange(1000):
            yield self.make_requests_from_url("http://www.example.com/bookstore/new/%d?filter=bookstore" % i)

    ...
python 2022/1/1 18:37:08 有237人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶