php抓取网页动态数据(请假下大家,如何用php抓取页面上js动态加载来的内容)
优采云 发布时间: 2021-09-26 19:13php抓取网页动态数据(请假下大家,如何用php抓取页面上js动态加载来的内容)
请大家留下,如何用php抓取页面上js动态加载的内容,
file_get_contents 只能获取查看源码可以看到的源码。事实上,页面上还有其他内容。请给一些建议..
最近正好在考虑类似的功能。虽然我还没有实践过,但谈谈我的个人看法。
如何抓取js动态加载的内容,我觉得可以分为两种情况
第一种:通过ajax请求加载的内容,然后在控制台可以看到请求的是哪个url,返回的结果是什么,js如何处理返回的结果并附加到dom中,然后也只要抓取url和解析它。如果您需要登录以获取它,只需带上cookie。
第二种:加载的内容不需要发起ajax请求,处理后根据已有内容加载,比如js中的当前变量,dom中的内容,这个得看代码分析。 ……
另一种方法是安装一个可以解析js的php扩展……像V8js,php_js_ext,你可以试试,把js的核心改动扔进去。我个人觉得这个方法很痛苦,浪费时间,但是具体情况具体分析
PHP 无法执行 js 代码,必须使用 phantomjs
顾名思义,file_get_contents 捕获文件的内容。
并且页面(文件)在浏览器加载后转化为DOM。同样,页面上js动态加载的内容也是DOM(不改变页面本身),所以file_get_contents自然是取不出来的。
如果要让js动态加载内容,当然要绑定铃声,使用js原生方法或者jQuery。
以上如有错误,请指正。
免责声明:本文原创发表于php中文网。转载请注明出处。感谢您的尊重!如果您有任何疑问,请与我们联系