您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

使用python抓取AJAX电子商务网站

使用python抓取AJAX电子商务网站

您可以检查将ajax请求发送到的位置并进行复制。

在这种情况下,请求将转到此api url。然后,您可以requests用来执行类似的请求。但是请注意,此api端点需要正确的UserAgent标头。您可以使用诸如fake- useragent之类的包,也可以仅对代理进行字符串硬编码。

import requests

# fake useragent
from fake_useragent import UserAgent
user_agent = UserAgent().chrome

# or hardcode
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36'

url = 'https://shopee.com.my/api/v2/search_items/?by=relevancy&keyword=h370m&limit=50&newest=0&order=desc&page_type=search'
resp = requests.get(url, headers={
    'User-Agent': user_agent
})
data = resp.json()
products = data.get('items')
python 2022/1/1 18:37:37 有234人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶