您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何使用Python提取HTML页面javascript块中定义的JSON对象?

如何使用Python提取HTML页面javascript块中定义的JSON对象?

BeautifulSoup是一个html解析器;您还需要一个JavaScript解析器。顺便说一句,某些javascript对象文字是无效的json(尽管在您的示例中,文字也是有效的json对象)。

在简单的情况下,您可以:

例:

#!/usr/bin/env python
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""
import json
import re
from bs4 import BeautifulSoup  # $ pip install beautifulsoup4
soup = BeautifulSoup(html)
script = soup.find('script', text=re.compile('window\.blog\.data'))
json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',
                      script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
assert data['activity']['type'] == 'read'

如果假设不正确,则代码将失败。

为了放松第二个假设,可以使用JavaScript解析器代替正则表达式,例如,slimit由@approximatenumber建议):

from slimit import ast  # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
           if (isinstance(node, ast.Assign) and
               node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma())  # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'

无需将对象文字obj)视为json对象。为了获得必要的信息,obj可以像其他ast节点一样递归访问。它将允许支持任意javascript代码(可由解析slimit)。

python 2022/1/1 18:26:29 有183人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶