搜索引擎禁止的方式优化网站(做SEO要处理的第一个问题，就是让搜索引擎收录网站)

　　搜索引擎禁止的方式优化网站(做SEO要处理的第一个问题，就是让搜索引擎收录网站)

　　做SEO首先要解决的问题是让搜索引擎收录网站，因为只有页面是收录才有机会展示排名。但是，在某些情况下，不让搜索引擎收录 特定网页是有益的。以下是一些限制搜索引擎 收录 网页的方法。

　　一、收录 基本概念

　　我们先简单介绍一下收录这个词在这篇文章文章中反复出现在SEO中的作用。一般来说，搜索引擎机器人（bots）会根据网页之间的链接进行抓取，抓取网页后，会将有用的信息放入数据库中。这个过程称为索引，也是本文的一部分。主题 – 收录。

　　没有被收录，就不可能出现在搜索结果中，更谈不上排名。对于SEO来说，网站正确很重要收录，但收录并不是简单的越多越好。如果一个是网站收录大量垃圾内容，相反，会使搜索引擎降低网站的分数，可能会降低网站的权重。

　　二、什么样的页面不需要收录

　　1) 刚刚推出 网站

　　网站 在测试或填写阶段的内容通常不完整甚至不正确。一般在网站上线后不久。如果现阶段被搜索引擎收录搜索到，可能是让搜索引擎误认为网站的内容质量不好。对SEO来说无疑是一大扣，建议尽量避免这种情况。

　　2) 不能公开的内容

　　许多网站存储用户信息、公司内部信息、后台环境、数据库...等，如果服务器设置不正确，不会阻止搜索引擎和收录的抓取，这些内容它也可以收录直接发布到网上。类似的案例过去确实发生过。

　　3) 不重要的页面

　　这更多是发生在 网站 上的事情。网站 或多或少会收录一些没有搜索价值的页面，例如：版权声明、法律条款、登录页面、结账确认页面、用户信息页面...等，当这些页面在收录页面太高，可能会被搜索引擎误认为网站的内容是空洞的，从而伤害了网站的权重。

　　三、禁止网页被收录的方法

　　1) noindex 标签

　　使用“noindex”禁止搜索引擎抓取页面，在不想被收录的网页中使用如下说明：

　　使用这种方法可以有效解决不想成为收录页面的问题。也是比较推荐的方法，可以解决大部分问题。操作简单，需要单页设置。如果页数较多，执行起来会比较困难，需要在后台开发单页代码插入功能。

　　2) robots.txt 协议

　　robots.txt文件位于网站的根目录下，可以向搜索引擎爬虫表明你不想成为收录的网站内容路径。大多数情况下，不想成为收录的问题是可以解决的，但是robots.txt本身还是有一些限制的，比如不是强制指令，所以不是每个搜索引擎都会完全遵守robots.txt 协议。

　　3) 服务器设置解决方案

　　在服务器上直接将目录或文件设置为密码访问。例如，在使用 Apache Web 服务器时，您可以编辑 .htaccess 文件以对目录进行密码保护。这样就可以保证搜索引擎不会爬行。这是最基本也是绝对有效的方法。但是，这种设置也意味着用户无法查看网页，这可能不符合网站的设计目的，所以这种方法通常只适用于敏感数据上的应用。

　　总结：当我们使用上面的方法设置和排除一些不需要收录的页面时，对SEO是有帮助的，但是在实际操作中一定要特别注意不要设置错误。如果因为你不小心或者弄错了页面，原来有排名的页面被删除了收录，那么你就得花时间让搜索引擎重新收录，这样也会失去现有的交通，所以尽量注意避免这种情况。