您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在Python中抓取绝对URL而不是相对路径

在Python中抓取绝对URL而不是相对路径

在这种情况下, 可以为您 帮助。您应该像这样修改您的代码-

import bs4 as bs4
import urllib.request
from urlparse import  urljoin

web_url = 'https:www.example-page-xl.com'
sauce = urllib.request.urlopen(web_url).read()
soup = bs.BeautifulSoup(sauce,'lxml')

section = soup.section

for url in section.find_all('a'):
    print urljoin(web_url,url.get('href'))

在这里 urljoin 管理绝对路径和相对路径。

python 2022/1/1 18:50:21 有446人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶