让搜索引擎给自己网站做外链的效果,你知道吗?
优采云 发布时间: 2021-05-24 19:29让搜索引擎给自己网站做外链的效果,你知道吗?
备注:本文中的方法可能已失败。分享本文旨在帮助所有人了解黑帽。它并不鼓励每个人都使用黑帽子进行优化网站。它不仅危害用户,而且给互联网带来更多污染。
我们知道搜索引擎的产品线很长,并且多个产品不可能完美地合作。因此,存在一个可以利用robots.txt 收录限制的漏洞。
原理分析(以搜狗为例)
我们可以看到Sogou的robots.txt文件的内容如下:
User-agent: Sogou web spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou inst spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou spider2
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou blog
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou News Spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sogou Orion spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: JikeSpider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Sosospider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Googlebot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: MSNBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Baiduspider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: 360spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: Baiduspider-image
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: YoudaoBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp
User-agent: *
Disallow: /
很明显,搜狗屏蔽了每个搜索引擎的搜索结果页面。 “ / sogou?”,“ / web?”在哪里而其他路径是结果页面的路径,那么,是否存在这种情况?搜狗中还有其他搜索结果页面路径,但是robots.txt中没有声明阻止的信息吗?为了验证这一推测,我们在百度中搜索了搜狗。
我们可以看到“ / sie?”和“ / sgo?”是Sogou的搜索结果页面的路径,但没有被robots.txt文件中的声明所阻止!也就是说,搜索引擎可以搜索该路径的页面收录。如果这些页面的搜索结果都是自己的网站,该怎么办?然后,可以达到让搜索引擎自己进行外部链接网站的效果!
所以问题来了?如果所有搜索结果都是您自己的网站怎么办?考虑在网站内进行搜索是很自然的!有关在站点中搜索搜索参数的特定方法,请自行搜索相关信息。结果将直接在此处进行解释:Sogou的站点内搜索参数是站点内,然后组合成这样的URL:
此URL可以为收录,此页面上的所有搜索结果均指定为网站,并且类似的URL在Internet上传播。爬虫爬网之后,它最终将在数据库中建立索引,并最终达到目的。为了我们的目的:让搜索引擎提供自己的网站链接。
写在最后
此方法的时效性不高,并且在许多人使用后将得到修复。清楚描述该原理的原因是为了描述黑帽方法的发现过程。戴黑帽子的人不仅在做事站群,在链外*敏*感*词*发帖,而且更多地是在利用搜索引擎本身的漏洞进行优化。本文只是一个非常简单的黑帽方法发现过程的示例。更多伟大的神是低调的,他们的发现方法尚未在互联网上传播。本文只是为了让大家更多地了解黑帽,而不是鼓励大家使用黑帽进行优化网站,这不仅伤害用户,而且给互联网带来更多污染。我希望每个人都可以更多地考虑用户体验,并与搜索引擎合作以实现最终目标。