栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何使用Python提取HTML页面javascript块中定义的JSON对象?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何使用Python提取HTML页面javascript块中定义的JSON对象?

BeautifulSoup是一个html解析器;您还需要一个Javascript解析器。顺便说一句,某些javascript对象文字是无效的json(尽管在您的示例中,文字也是有效的json对象)。

在简单的情况下,您可以:

  1. <script>
    使用html解析器提取文本
  2. 假设这
    window.blog...
    是一行或
    ';'
    对象内部没有任何内容,并使用简单的字符串操作或正则表达式提取javascript对象文字
  3. 假设该字符串是有效的json并使用json模块对其进行解析

例:

#!/usr/bin/env pythonhtml = """<!doctype html><title>extract javascript object as json</title><script>// ..window.blog.data = {"activity":{"type":"read"}};// ..</script><p>some other html here"""import jsonimport refrom bs4 import BeautifulSoup  # $ pip install beautifulsoup4soup = BeautifulSoup(html)script = soup.find('script', text=re.compile('window.blog.data'))json_text = re.search(r'^s*window.blog.datas*=s*({.*?})s*;s*$',script.string, flags=re.DOTALL | re.MULTILINE).group(1)data = json.loads(json_text)assert data['activity']['type'] == 'read'

如果假设不正确,则代码将失败。

为了放松第二个假设,可以使用Javascript解析器代替正则表达式,例如,

slimit
(由@approximatenumber建议):

from slimit import ast  # $ pip install slimitfrom slimit.parser import Parser as JavascriptParserfrom slimit.visitors import nodevisitorsoup = BeautifulSoup(html, 'html.parser')tree = JavascriptParser().parse(soup.script.string)obj = next(node.right for node in nodevisitor.visit(tree)if (isinstance(node, ast.Assign) and    node.left.to_ecma() == 'window.blog.data'))# HACK: easy way to parse the javascript object literaldata = json.loads(obj.to_ecma())  # NOTE: json format may be slightly differentassert data['activity']['type'] == 'read'

无需将对象文字(

obj
)视为json对象。为了获得必要的信息,
obj
可以像其他ast节点一样递归访问。它将允许支持任意javascript代码(可由解析
slimit
)。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/623488.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号