ajax抓取网页内容( 谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))

优采云 发布时间: 2022-02-02 09:10

  ajax抓取网页内容(

谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))

  

  近日,Google Blackboard 发布了一篇题为“GET、POST 和安全获取更多网络信息”的博文。文章详细说明 Google 最近对抓取网页内容的方式所做的改进。文章 中提到,Google 以后在读取网页内容时,不仅会使用 GET 抓取,还会视情况增加 POST 请求方式来抓取网页内容,进一步提升 Google 搜索引擎抓取网页内容的能力。网页的内容。网页内容的判断。

  随着互联网的飞速发展,JavaScript 和 AJAX 越来越流行,越来越多的网页需要 POST 请求——因为页面的全部内容或者因为缺少某些页面信息和/或POST 无法返回资源。但是,谷歌认为,单纯使用 GET 来抓取网页所需的资源,并不能呈现出最全面、最准确的结果。

  因此,Google 改进了 flash 索引,在 GET 爬取中引入了 POST 请求,从而对网页内容进行更完整、更准确的爬取和索引。

  谷歌抓取网页内容的步骤如下:

  1. 通过 GET 抓取网页内容。

  2.索引网页内容并尝试呈现页面。

  3.在渲染过程中使用POST请求读取页面内容,生成新的POST内容页面。

  4.将来自 POST 请求的内容页面和其他数据负载添加到 Googlebot 的抓取队列中。

  5.Googlebot 执行 POST 请求以抓取页面。

  6.Google 会渲染最终的 POST 结果,也可以合并 GET 和 POST 请求结果。

  7.完成索引。

  搜索引擎新闻内容来源于网络,作者整理排版。不完全代表本博客的实际观点,仅供读者参考和交流。

  如有涉及作者著作权的问题,请及时联系作者进行更正、删除或按规定处理。

  这篇文章的链接:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线