httpClient2988怎样获取网页中js执行完后的网页源码

优采云 发布时间: 2021-05-29 21:31

  httpClient2988怎样获取网页中js执行完后的网页源码

  网页中执行js后httpClient如何获取网页源代码?本帖最后由 michael2988 编辑 2010-11-2218:42:20。最近在用httpClient抓取网页源码的时候,如果源码是静态的,可以全部抓取。但是如果源码中收录js,httpClient抓取的源码中不收录js,获取的源码是错误的。在网页中执行js后如何获取网页的源代码,例如获取网页的源代码。我在论坛上看到的解决办法是:调用一个浏览器组件来完成这个东西,然后js执行完后取其内容;如何实现呢?希望高手指点。 . . ------最佳解决方案-------------------------------------- - --------------- 单独httpclient是做不到的,只能抓取最原创的数据--其他解决方案----- --------- ----------------------------------------- -httpClient 捕获服务器的输出,这不是js执行后的最终结果吗? ------其他解决方案----------------------------------------- - -------------- 没有,比如我想抓取邮箱首页的源代码,只得到下面的一小段:html head meta http-equiv= refresh content= url= /cgi-bin/loginpage/head /html ------其他解决办法-------------------------------- -- ---------------------- 在后面的过程中,我也在找资料获取js分页页面的数据,但是没有完全没有。

  ------其他解决方案-------------------------------------- - ----------------- 引用: 这不是单独httpclient能做到的,只能抓取最原创的数据------其他解决方案-- ---------------------------------------------- ---- ---- 用 htmlunit 试试------其他解决方案---------------------------- ------- -------------------- 引用: 这个单独httpclient是做不到的,只能抓取最原创的数据 怎么办,能不能给点思路! ------其他解决方案------------------------------------------ -------------- 引用:最近使用httpClient抓取网页源码时,如果源码是静态的,可以全部抓取,但是如果源码中收录js, httpClient抓取的源码不收录js,获取的源码有误。在网页中执行js后如何获取网页的源代码,例如获取网页的源代码。

  我在论坛上看到了一个解决方案:调用浏览器组件来完成此任务,然后在执行js之后获取内容;如何实现呢?希望高手指点。 . 楼主,你还没有实现,可以分享一些想法吗! ------其他解决方案----------------------------------------- - --------------所有者,为什么不出现?问题解决了吗?我也遇到这个问题,请赐教! ------其他解决方案------------------------------------------ -------------- 尝试使用浏览器网页另存为 ------ 其他解决办法 ---------- -- --------------------- 原创海报,请赐教。------其他解决方案 - - - - - - - - - - - - - - - - - - - - - - - - - -------您只能手动省力。很不科学。我们想要得到的是活的价值。并且可以读取js中的内容。现在发生的事情是请求中的数据不会有js的内容。其他数据根本没用。

  有什么方法可以让js数据可用?我真的很想知道这个问题。或者谁能​​做到。我可以付钱雇人。 ------其他解决方案------------------------------------------ -------------- 引用:您只能另存为手册。很不科学。我们想要得到的是活的价值。并且可以读取js内容。目前的情况是请求的数据不会有js的内容。其他数据根本没用。什么方法可以制作js数据?我真的很想知道这个问题。或者谁能​​做到。我可以付钱雇人。你要付多少钱。我会的,您可以给我发送电子邮件,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线