概述
JiwuspiderSpider.py
总结
# -*- coding: utf-8 -*-
from scrapy import Spider,Request
import re
from jiwu.items import JiwuItem
class JiwuspiderSpider(Spider):
name = "jiwuspider"
allowed_domains = ["wlmq.jiwu.com"]
start_urls = ['http://wlmq.jiwu.com/loupan']
def parse(self,response):
"""
解析每一页房屋的list
:param response:
:return:
"""
for url in response.xpath('//a[@class="index_scale"]/@href').extract():
yield Request(url,self.parse_html) # 取list集合中的url 调用详情解析方法
# 如果下一页属性还存在，则把下一页的url获取出来
nextpage = response.xpath('//a[@class="tg-rownum-next index-icon"]/@href').extract_first()
#判断是否为空
if nextpage:
yield Request(nextpage,self.parse) #回调自己继续解析
def parse_html(self,response):
"""
解析每一个房产信息的详情页面，生成item
:param response:
:return:
"""
pattern = re.compile('
总结
以上是编程之家为你收集整理的利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！全部内容，希望文章能够帮你解决利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！所遇到的程序开发问题。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
以上是编程之家为你收集整理的利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！全部内容，希望文章能够帮你解决利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！所遇到的程序开发问题。
总结
以上是编程之家为你收集整理的利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！全部内容，希望文章能够帮你解决利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！所遇到的程序开发问题。
如果您也喜欢它,动动您的小指点个赞吧
602392714
清零编程群