搜索引擎禁止的方式优化网站(如何在WordPress中禁止搜索引擎Robots.txt文件Robots文件)

　　搜索引擎禁止的方式优化网站(如何在WordPress中禁止搜索引擎Robots.txt文件Robots文件)

　　建站之初，由于网站结构和初始内容还没有准备好，网站处于测试阶段，我们打开搜索引擎收录没有意义，如果搜索引擎收录是很多无用的页面，不利于我们后期的优化，所以在我们第一次构建网站的时候，有必要禁止搜索引擎。在本教程中，我们将教您如何在 WordPress 中禁用搜索引擎

　　Robots.txt 文件

　　Robots.txt 是存储在站点根目录中的纯文本文件。虽然它的设置很简单，但是它的效果却非常强大。可以指定搜索引擎蜘蛛只抓取指定的内容，或者禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

　　通常站长会使用Robots.txt文件来禁止搜索引擎，但是一般系统没有内置这个功能，需要自己写规则上传

　　WordPress内置了robots.txt文件，位于网站的根目录下。比如WP主题站点上的robots文件在网站文件中是看不到的，但是在浏览器中是可以找到的。访问

　　熟悉robots规则的朋友可以看到，默认没有任何搜索引擎被屏蔽，而是默认的管理界面/wp-admin被屏蔽了。

　　设置WordPress禁止搜索引擎收录

　　如果您的 WordPress网站 正在建设或改版中，强烈建议您暂时禁用搜索引擎。这是在wordpress中设置它的方法

　　打开WordPress后台，选择设置-阅读-搜索引擎可见性-勾选搜索引擎不索引或不索引站点的建议，最后记得保存设置

　　这时候，就意味着我们不再需要搜索引擎收录

　　可以再次访问robots文件，发现多了一句Disallow:/。这个设置意味着禁止任何搜索引擎爬取网站

　　当您启用禁用 收录 选项时，WordPress 背景中会出现警告文本，提醒您正在禁用搜索引擎。这是一个提醒，防止我们忘记启用收录。如果您随时需要搜索引擎收录，您可以随时取消勾选并打开收录。

　　禁用搜索引擎需要知道的事情

　　虽然禁止搜索引擎只是一个很简单的功能，但还是有一些需要注意的

　　禁用搜索引擎通常只是暂时禁用，网站必须在完成后开启收录禁用搜索引擎不会阻止其他人访问您的网站。如果您的网站有您不想公开的内容，您应该使用WordPress加密插件或密码文章来禁止他人访问。如果你只是想让某篇文章文章不被搜索引擎收录搜索到，不需要禁用整个网站，WordPress会指定文章设置禁止收录方法