php登录抓取网页指定内容(博迪安我正在使用PythonScrapy来做到这一点的帮助 )
优采云 发布时间: 2021-12-16 03:24php登录抓取网页指定内容(博迪安我正在使用PythonScrapy来做到这一点的帮助
)
博店
我正在使用 Python Scrapy 来解析 tripadvisor 上的一些餐厅。单击“查看所有详细信息”按钮将激活一个收录相关信息的弹出窗口。流量分析显示,点击时不会调用任何内容。但是,如果我在网页中搜索窗口内的文本,我可以找到一个元素(见下面的截图),但我不知道如何处理以及如何提取文本。
Ps 我已经设法用 selenium 获取窗口的内容,但我真的只想用 Scrapy 来做。
预先感谢您的帮助!一个链接,例如 Link
博店
从这个问题中得到解决方案:问题链接
这是一个将scrapy的响应转换为json的代码示例
# get html text
resp_text = response.text
# Html to json
data = re.search(r'window\.__WEB_CONTEXT__=(.*?});', resp_text).group(1)
data = data.replace('pageManifest', '"pageManifest"')
data = json.loads(data)