php 抓取网页ajax数据(JS修改源码之后的真实源码是什么?怎么用?)

优采云 发布时间: 2021-11-14 12:20

  php 抓取网页ajax数据(JS修改源码之后的真实源码是什么?怎么用?)

  比如先:

  使用浏览器查看源码,只有第一次加载网页时才能看到源码。

  但是,现在很多网页都使用AJAX技术,实际上都是异步加载多次,最终的结果有时比原来的源码差很多。

  现在我想在网页最终加载时获取源代码。

  也就是说,每次AJAX取值时,我都想得到网页真正的源代码,然后通过JS修改源代码。

  理论上,有这么一个真正的源代码,对吧。

  它也可以通过 Chrome 的评论元素获得。

  但是现在我想使用 PHP 或 .NET 或 JS ...

  不知道大家有没有什么好办法...

  可以在PC、WEB上使用……有没有类似的功能、框架、库、方法……

  各种想法都可以...

  我之前做的是:

  1、 使用firebug抓包,查看ajax请求的api地址。

  2、查看api请求的参数。如果没有参数,请转到步骤 5。

  3、如果api参数在网页上。

  4、进入页面查找api参数。(参数全,必须有规律。没有规律,网页就无法动态化。)

  5、 然后取所需的api参数,然后选择api地址。(这时候运气好的话,直接检索到json数据,就不用像处理html那样麻烦了)

  PhantomJS、CasperJS

  网络词网络浏览器

  使用浏览器查看源码,只有第一次加载网页时才能看到源码。

  谁说的?

  它是异步加载的。加载完成后,您将看到完全加载的 HTML 代码。

  爬了一大堆,Python有现成的

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线