php 抓取网页ajax数据(JS修改源码之后的真实源码是什么?怎么用?)
优采云 发布时间: 2021-11-14 12:20php 抓取网页ajax数据(JS修改源码之后的真实源码是什么?怎么用?)
比如先:
使用浏览器查看源码,只有第一次加载网页时才能看到源码。
但是,现在很多网页都使用AJAX技术,实际上都是异步加载多次,最终的结果有时比原来的源码差很多。
现在我想在网页最终加载时获取源代码。
也就是说,每次AJAX取值时,我都想得到网页真正的源代码,然后通过JS修改源代码。
理论上,有这么一个真正的源代码,对吧。
它也可以通过 Chrome 的评论元素获得。
但是现在我想使用 PHP 或 .NET 或 JS ...
不知道大家有没有什么好办法...
可以在PC、WEB上使用……有没有类似的功能、框架、库、方法……
各种想法都可以...
我之前做的是:
1、 使用firebug抓包,查看ajax请求的api地址。
2、查看api请求的参数。如果没有参数,请转到步骤 5。
3、如果api参数在网页上。
4、进入页面查找api参数。(参数全,必须有规律。没有规律,网页就无法动态化。)
5、 然后取所需的api参数,然后选择api地址。(这时候运气好的话,直接检索到json数据,就不用像处理html那样麻烦了)
PhantomJS、CasperJS
网络词网络浏览器
使用浏览器查看源码,只有第一次加载网页时才能看到源码。
谁说的?
它是异步加载的。加载完成后,您将看到完全加载的 HTML 代码。
爬了一大堆,Python有现成的