搜索引擎禁止的方式优化网站(让搜索引擎给自己网站做外链的效果!(一))
优采云 发布时间: 2021-10-02 19:11搜索引擎禁止的方式优化网站(让搜索引擎给自己网站做外链的效果!(一))
备注:本文方法可能失败。分享这篇文章旨在帮助大家了解黑帽。不鼓励大家用黑帽优化网站,不仅伤害用户,也给互联网带来更多污染。
我们知道搜索引擎的产品线很长,多个产品不可能完美配合。因此,robots.txt 收录 的限制中存在可以利用的漏洞。
原理分析(以搜狗为例)
我们可以看到搜狗的robots.txt文件内容为:
User-agent: Sogou web spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou inst spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou spider2
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou blog
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou News Spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou Orion spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: JikeSpider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sosospider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Googlebot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: MSNBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Baiduspider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: 360spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Baiduspider-image
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: YoudaoBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: *
Disallow: /
很明显,搜狗屏蔽了各个搜索引擎的搜索结果页面。其中,路径如/sogou?、/web? 是结果页的路径,那么,有没有这种情况呢?搜狗还有其他搜索结果页面路径,但是robots.txt里没有声明屏蔽?为了验证这个猜想,我们在百度搜索搜狗。
我们可以看到/sie?和/sgo?是搜狗搜索结果页面的路径,但是没有被robots.txt文件中的声明屏蔽!也就是说,这样的页面允许搜索引擎搜索收录,如果这样的页面搜索结果都是自己的网站怎么办?那么就达到了让搜索引擎网站自己做外链的效果!
那么问题来了?如果所有搜索结果都是您自己的网站怎么办?自然会想到在网站内搜索!具体查找本站搜索参数的方法请自行搜索相关信息。结果这里直接说明:搜狗的站内搜索参数是insite,然后组装成这样一个网址:
这个URL可以是收录,这个页面上的所有搜索结果都被指定为网站,类似的URL在网上流传。蜘蛛爬行后,最终会在数据库中建立索引。终于实现了我们的目标:让搜索引擎给出自己的网站链接。
写在最后
这种方法的时效性不高,用了很多人之后就会修复。之所以说清楚原理,是为了描述黑帽法的发现过程。黑帽子不是简单地做站群之类的事情,在链外大量发帖,更多的是利用搜索引擎本身的漏洞进行优化。这篇文章只是一个非常简单的黑帽方法发现过程的例子。更多的大神们都很低调,他们的发现方法也没有在网上流传开来。这篇文章只是为了让大家更多地了解黑帽,并不是鼓励大家用黑帽来优化网站,这不仅伤害了用户,也给互联网带来了更多的污染。