php登录抓取网页指定内容(博迪安我正在使用PythonScrapy来做到这一点的帮助 )

　　php登录抓取网页指定内容(博迪安我正在使用PythonScrapy来做到这一点的帮助

)

　　博店

　　我正在使用 Python Scrapy 来解析 tripadvisor 上的一些餐厅。单击“查看所有详细信息”按钮将激活一个收录相关信息的弹出窗口。流量分析显示，点击时不会调用任何内容。但是，如果我在网页中搜索窗口内的文本，我可以找到一个元素（见下面的截图），但我不知道如何处理以及如何提取文本。

　　Ps 我已经设法用 selenium 获取窗口的内容，但我真的只想用 Scrapy 来做。

　　预先感谢您的帮助！一个链接，例如 Link

　　博店

　　从这个问题中得到解决方案：问题链接

　　这是一个将scrapy的响应转换为json的代码示例

　　 # get html text

resp_text = response.text

# Html to json

data = re.search(r'window\.__WEB_CONTEXT__=(.*?});', resp_text).group(1)

data = data.replace('pageManifest', '"pageManifest"')

data = json.loads(data)