htmlunit抓取动态网页(搜索引擎更喜欢静态页面还是动态页面之前？(图))

　　htmlunit抓取动态网页(搜索引擎更喜欢静态页面还是动态页面之前？(图))

　　项目投资找A5快速获取精准代理商名单

　　做网站优化，到底是静态页面好还是动态页面好，一直是众多优化者争论不休的问题。有的站长说搜索引擎喜欢抓取一些静态页面，就像野兽在打猎的时候，总是喜欢先抓到不动的难缠的物体，而这些站长认为静态页面在搜索引擎的猛兽眼中. 所以。

　　在知道搜索引擎更喜欢静态页面还是动态页面之前，有必要普及一下网站的基础知识：什么是静态页面？简单来说就是页面的URL不收录一些动态元素，比如“?,%,&”，那么只要页面URL地址中收录这些元素，就称为动态页面。

　　从上面的意思我们知道，静态页面和动态页面最大的区别在于是否收录一些动态元素，而这些动态元素会导致搜索引擎蜘蛛无法理解早期的搜索引擎。以为是多个不同的URL，就会不断爬取这个动态的URL地址，造成“搜索引擎蜘蛛黑洞”。

　　所以早期的搜索引擎真的不喜欢动态页面，更喜欢抓取静态页面。但随着搜索引擎技术的不断发展，历届各大搜索引擎公司都宣称可以爬取和爬取动态页面，对动态页面和静态页面一视同仁，包括谷歌、百度、搜搜。

　　说一下我个人的看法，由于搜索引擎的进步，动态页面也可以被爬取，爬得很好。因此，当 URL 中的动态元素尽可能少时，可以使用动态页面。这里给你举个例子，.***.net/wp-login.php?redirect_to=http%3A%2F%2F###.net%2Fwp-admin%2F&reauth=1，很明显是一个URL URL动态网页，但收录的动态元素太多，对搜索引擎不友好，不可用。

　　。***。网/？p=167，这种网址也是动态的，如果只收录一个“？”，很多搜索引擎都可以抓取到。我自己也用这种动态网址做了几个网站，一段时间后，几个网站的收录和排名都很好。所以到底搜索引擎更喜欢静态页面还是动态页面，我觉得应该差不多吧。