ajax抓取网页内容( 谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))
优采云 发布时间: 2022-02-02 09:10ajax抓取网页内容(
谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))
近日,Google Blackboard 发布了一篇题为“GET、POST 和安全获取更多网络信息”的博文。文章详细说明 Google 最近对抓取网页内容的方式所做的改进。文章 中提到,Google 以后在读取网页内容时,不仅会使用 GET 抓取,还会视情况增加 POST 请求方式来抓取网页内容,进一步提升 Google 搜索引擎抓取网页内容的能力。网页的内容。网页内容的判断。
随着互联网的飞速发展,JavaScript 和 AJAX 越来越流行,越来越多的网页需要 POST 请求——因为页面的全部内容或者因为缺少某些页面信息和/或POST 无法返回资源。但是,谷歌认为,单纯使用 GET 来抓取网页所需的资源,并不能呈现出最全面、最准确的结果。
因此,Google 改进了 flash 索引,在 GET 爬取中引入了 POST 请求,从而对网页内容进行更完整、更准确的爬取和索引。
谷歌抓取网页内容的步骤如下:
1. 通过 GET 抓取网页内容。
2.索引网页内容并尝试呈现页面。
3.在渲染过程中使用POST请求读取页面内容,生成新的POST内容页面。
4.将来自 POST 请求的内容页面和其他数据负载添加到 Googlebot 的抓取队列中。
5.Googlebot 执行 POST 请求以抓取页面。
6.Google 会渲染最终的 POST 结果,也可以合并 GET 和 POST 请求结果。
7.完成索引。
搜索引擎新闻内容来源于网络,作者整理排版。不完全代表本博客的实际观点,仅供读者参考和交流。
如有涉及作者著作权的问题,请及时联系作者进行更正、删除或按规定处理。
这篇文章的链接: