您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

python爬虫入门---第一篇:获取某一网站所有超链接

5b51 2022/1/14 8:23:55 python 字数 2601 阅读 597 来源 www.jb51.cc/python

需要先安装requests库和bs4库import requestsfrom bs4 import BeautifulSoupdef getHTMLText(url):try:#获取服务器的响应内容,并设置最大请求时间为6秒res = requests.get(url, timeout = 6)#判断返回状态码是否为200res.raise_for_status()#设置真正的编码res.encoding = res.apparent_encoding#返回网页HTML代码return res.textexcept:return '产生异常'#目标网页url = 'https://www.cnblogs.com/huwt/'demo = getHTMLText(url)#解析HTML代码soup = BeautifulSoup(demo, 'html.parser')#模糊搜索HTML代码的所有<a>标签a_labels = soup.find_all('a')#获取所有<a>标签中的href对应的值,即超链接for a in a_labels:print(a.get('href'))

概述

需要先安装requests库和bs4库

<span style="color: #008000">#<span style="color: #008000">目标网页
url = <span style="color: #800000">'<span style="color: #800000">https://www.cnblogs.com/huwt/<span style="color: #800000">'<span style="color: #000000">

demo =<span style="color: #000000"> getHTMLText(url)

<span style="color: #008000">#<span style="color: #008000">解析HTML代码
soup = BeautifulSoup(demo,<span style="color: #800000">'<span style="color: #800000">html.parser<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">模糊搜索HTML代码的所有标签
a_labels = soup.find_all(<span style="color: #800000">'<span style="color: #800000">a<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">获取所有标签中的href对应的值,即超链接
<span style="color: #0000ff">for a <span style="color: #0000ff">in<span style="color: #000000"> a_labels:
<span style="color: #0000ff">print(a.get(<span style="color: #800000">'<span style="color: #800000">href<span style="color: #800000">'))

总结

以上是编程之家为你收集整理的python爬虫入门---第一篇:获取某一网站所有超链接全部内容,希望文章能够帮你解决python爬虫入门---第一篇:获取某一网站所有超链接所遇到的程序开发问题。


如果您也喜欢它,动动您的小指点个赞吧

除非注明,文章均由 laddyq.com 整理发布,欢迎转载。

转载请注明:
链接:http://laddyq.com
来源:laddyq.com
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


联系我
置顶