您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

5b51 2022/1/14 8:18:03 python 字数 1693 阅读 384 来源 www.jb51.cc/python

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。 复制代码代码如下:#coding:utf-8importsysimporturllibimporturllib2fromBeautifulSoupimportBeautifulSoup

概述

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。

question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table",{"class": "result"}))
for result_table in soup.findAll("table",{"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----\n" + a_click.renderContents()#标题
    print "----链接----\n" + str(a_click.get("href"))#链接
    print "----描述----\n" + result_table.find("div",{"class": "c-abstract"}).renderContents()#描述
    print

总结

以上是编程之家为你收集整理的使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例全部内容,希望文章能够帮你解决使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例所遇到的程序开发问题。


如果您也喜欢它,动动您的小指点个赞吧

除非注明,文章均由 laddyq.com 整理发布,欢迎转载。

转载请注明:
链接:http://laddyq.com
来源:laddyq.com
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


联系我
置顶