php抓取网页动态数据(请假下大家,如何用php抓取页面上js动态加载来的内容)

优采云 发布时间: 2021-09-26 19:13

  php抓取网页动态数据(请假下大家,如何用php抓取页面上js动态加载来的内容)

  请大家留下,如何用php抓取页面上js动态加载的内容,

  file_get_contents 只能获取查看源码可以看到的源码。事实上,页面上还有其他内容。请给一些建议..

  最近正好在考虑类似的功能。虽然我还没有实践过,但谈谈我的个人看法。

  如何抓取js动态加载的内容,我觉得可以分为两种情况

  第一种:通过ajax请求加载的内容,然后在控制台可以看到请求的是哪个url,返回的结果是什么,js如何处理返回的结果并附加到dom中,然后也只要抓取url和解析它。如果您需要登录以获取它,只需带上cookie。

  第二种:加载的内容不需要发起ajax请求,处理后根据已有内容加载,比如js中的当前变量,dom中的内容,这个得看代码分析。 ……

  另一种方法是安装一个可以解析js的php扩展……像V8js,php_js_ext,你可以试试,把js的核心改动扔进去。我个人觉得这个方法很痛苦,浪费时间,但是具体情况具体分析

  PHP 无法执行 js 代码,必须使用 phantomjs

  顾名思义,file_get_contents 捕获文件的内容。

  并且页面(文件)在浏览器加载后转化为DOM。同样,页面上js动态加载的内容也是DOM(不改变页面本身),所以file_get_contents自然是取不出来的。

  如果要让js动态加载内容,当然要绑定铃声,使用js原生方法或者jQuery。

  以上如有错误,请指正。

  

  免责声明:本文原创发表于php中文网。转载请注明出处。感谢您的尊重!如果您有任何疑问,请与我们联系

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线