合肥搜索引擎优化(合肥SEO搜索引擎优化：Robot的应用主要用于定义允许/禁止哪些搜索引擎)

　　合肥搜索引擎优化(合肥SEO搜索引擎优化：Robot的应用主要用于定义允许/禁止哪些搜索引擎)

　　很多朋友认为Robots是用来处理死链接的，其实不然。下面合肥SEO搜索引擎优化带你了解：

　　机器人应用

　　主要用于定义允许/禁止哪些搜索引擎蜘蛛抓取，允许/禁止蜘蛛可以抓取的网站路径，允许/禁止蜘蛛抓取URL规则，告诉一些搜索引擎网站地图的URL，这里有几个简单的规则来定义，

　　死链接的处理，这里针对百度搜索引擎的讨论，主要是去站长工具，将死链接提交给百度，告诉百度链接不存在，请求删除之前的收录，这里是txt或者xml表单批量提交死链接到百度；

　　现在我们来谈谈死链接和Robot的关系。许多人提交了指向机器人定义的死链接。他们认为使用 Disallow 来禁止百度蜘蛛爬行是个好主意。出发点无非就是不想百度收录自己的网站的死链接，但是你有没有考虑过快照问题，就是这个链接是死链接，但是还是有快照的在网站收录，你会想，是不是？百度也可以抓取我的死链接，所以你在Robot中添加N行Disallow来禁止百度收录进入你的死链接。有的朋友不赞成这样的做法，其实这完全是本末倒置的做法。

　　需要弄清楚死链是如何产生的？

　　死链接是文件删除或路径修改导致的无法访问的链接。您需要做的第一步是彻底删除死链接，第二步是提交死链接。Robots禁止收录是因为路径存在，但又不想被搜索引擎收录搜索到，比如网站后台或者用户中心，所以加了Disallow来禁止收录，死链接是不可达的链接，如果你已经清除了第一步，还有这个Disallow的必要吗？因为如果不彻底清除死链接，势必会影响用户体验。

　　总结

　　必须删除死链接。对于搜索引擎来说，网站收录之前的死链接一般不是收录，因为它们没有价值；收录 之后的死链接，可能会被用户在搜索结果中点击或者在网站上浏览，影响用户体验，所以需要提交死链接和投诉快照，以加快死链接的处理。机器人和死链接之间的关系非常微妙。区别在于网站内部链接中是否还存在死链接地址。