概述
Features
待改进
xcrawler 介绍
项目结构
├── demo (一个示例 Spider) │ ├── baidu_news.py │ └── __init__.py ├── README.md (项目文档) ├── setup.py (pip 安装脚本) ├── tests (测试代码,尚未完成) └── xcrawler (核心代码) ├── core │ ├── crawler.py (Crawler process,负责管理引擎的配置和启动) │ ├── engine.py (Crawler engine,负责调度并完成 URL 请求和调用解析方法) │ ├── __init__.py ├── __init__.py ├── spider │ ├── __init__.py │ ├── request.py │ ├── response.py │ └── spider.py (Spider 基类,所有的自定义 Spider 需要从此处继承) └── utils (一些工具函数) ├── __init__.py └── url.py
Crawler engine (生产者+消费者模型)
配置介绍
settings = { 'download_delay': 0,'download_timeout': 6,'retry_on_timeout': True,'concurrent_requests': 32,'queue_size': 512 }
Spider 基类关键方法介绍
注意
安装
示例
from xcrawler import CrawlerProcess from xcrawler.spider import BaseSpider,Request from lxml.html import fromstring import json __version__ = '0.0.1' __author__ = 'Chris' class BaiduNewsSpider(BaseSpider): name = 'baidu_news_spider' start_urls = ['http://news.baidu.com/'] default_headers = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML,like Gecko) ' 'Chrome/50.0.2661.102 Safari/537.36' } def spider_started(self): self.file = open('items.jl','w') def spider_stopped(self): self.file.close() def spider_idle(self): # 引擎空闲时,你也可以从数据库中提取新的 URL 进来 print('I am in idle mode') # self.crawler.crawl(new_request,spider=self) def make_requests_from_url(self,url): return Request(url,headers=self.default_headers) def parse(self,response): root = fromstring(response.content,base_url=response.base_url) for element in root.xpath('//a[@target="_blank"]'): title = self._extract_first(element,'text()') link = self._extract_first(element,'@href').strip() if title: if link.startswith('http://') or link.startswith('https://'): yield {'title': title,'link': link} yield Request(link,headers=self.default_headers,callback=self.parse_news,Meta={'title': title}) def parse_news(self,response): pass def process_item(self,item): print(item) print(json.dumps(item,ensure_ascii=False),file=self.file) @staticmethod def _extract_first(element,exp,default=''): r = element.xpath(exp) if len(r): return r[0] return default def main(): settings = { 'download_delay': 1,'concurrent_requests': 16,'queue_size': 512 } crawler = CrawlerProcess(settings,'DEBUG') crawler.crawl(BaiduNewsSpider) crawler.start() if __name__ == '__main__': main()
版权声明
总结
以上是编程之家为你收集整理的百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架全部内容,希望文章能够帮你解决百度爬虫工程师教你只用500行Python代码构建一个轻量级爬虫框架所遇到的程序开发问题。
如果您也喜欢它,动动您的小指点个赞吧