如果我正确理解您的要求,则需要大量具有特定模式的起始URL。
如果是这样,则可以重写BaseSpider.start_requests方法:
class ExampleSpider(BaseSpider):
name = "test_code"
allowed_domains = ["www.example.com"]
def start_requests(self):
for i in xrange(1000):
yield self.make_requests_from_url("http://www.example.com/bookstore/new/%d?filter=bookstore" % i)
...