概述
目标
进群：548377875 即可获取数十套PDF哦！
绘制词云
绘制词云主要用到两个包，一个是jieba，用于文本分词的，一个是wordcloud，用于绘制最后的词云。参数比较多，大家可以直接访问jieba+wordcloud去查看。
代码部分
# -*- coding:utf-8 -*-
import requests
import json
import jieba
from scipy.misc import imread
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator
import matplotlib.pyplot as plt
def jd_spider(page):
url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56693&productId=5089253&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&fold=1'%(page)
comment = ''
#无需设置header，直接访问就行了
response = requests.get(url)
data = unicode(response.content,'GBK').encode('utf-8')
'''
接口地址返回的不是标准json数据，需要进行处理
去掉头部的‘fetchJSON_comment98vv56693(’和‘);’两部分
然后再用json包读取数据就可以了
'''
data = data.split('(',1)[1]#根据（进行切片一次处理，取第二部分
data = data[0:len(data)-2]#然后去掉后面的）和；
data_json = json.loads(str(data))['comments']
#循环读取每条评论，通过换行符连接起来
for i in list(range(len(data_json))):
comment = comment+data_json[i]['content'].encode('utf-8')+' '
print '****Page %d has been saved****'%(page)
return comment
#将读取的数据保存到本地txt文件
def save_comments(comments):
with open('comments.txt','a') as f:
f.write(comments)
'''
由于京东限制了，只展示前100页评论
循环99次就好了，后面返回的都是空页面
'''
for page in list(range(99)):
page = page+1
comments = jd_spider(page)
save_comments(comments)
print '****jd_spider@Awesome_Tang****'
'''
绘制词云部分
'''
back_color = imread('apple.png') # 解析该图片
wc = WordCloud(background_color='white',# 背景颜色
max_words=1000,# 最大词数
mask=back_color,# 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略
max_font_size=100,# 显示字体的最大值
font_path="/Users/tangwenpan/Downloads/simhei.ttf",# 解决显示口字型乱码问题
random_state=42,# 为每个词返回一个PIL颜色
# width=1000,# 图片的宽
# height=860 #图片的长
)
# 打开保存的评论数据
text = open('comments.txt').read()
def word_cloud(texts):
words_list = []
word_generator = jieba.cut(texts,cut_all=False) # 返回的是一个迭代器
for word in word_generator:
if len(word) > 1: #去掉单字
words_list.append(word)
return ' '.join(words_list)
text = word_cloud(text)
wc.generate(text)
image_colors = ImageColorGenerator(back_color)
plt.imshow(wc)
# 关闭坐标轴
plt.axis('off')
# 绘制词云
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
# 保存图片
wc.to_file('comment.png')
print 'comment.png has bee saved!'
一直觉得词云是个蛮好玩的东西，想自己也做下玩玩，所以这次也就是想着先做点东西出来，代码部分可能就比较粗糙了，后期有时间再改改。
总结
以上是编程之家为你收集整理的京东的验证码和反爬都很烦人吧？那又怎样，照样轻松爬取京东数据全部内容，希望文章能够帮你解决京东的验证码和反爬都很烦人吧？那又怎样，照样轻松爬取京东数据所遇到的程序开发问题。
如果您也喜欢它,动动您的小指点个赞吧
602392714
清零编程群