如何阻止搜索引擎收录我们不想被收录的文件？

　　如何阻止搜索引擎收录我们不想被收录的文件？

　　有时候我们会遇到这样的困难：我们不想被搜索引擎收录的网站\地址搜索到却被搜索引擎收录“狠狠”，当我们遇到这样的情况，我们怎么能阻止搜索引擎收录我们不想成为收录的文件？

　　常用的方法有两种，一种是编辑robots.txt文件，另一种是在不想收录的页面头部放置METANAME="ROBOTS"标签。

　　所谓的robots.txt文件是每个搜索引擎到达你的网站后需要找到和访问的第一个文件。 Robots.txt 是你如何索引你的网站 规则的指南。通过这个文件，搜索引擎可以知道你网站中的哪些文件可以被索引，哪些文件被拒绝索引。

　　编辑 rebots.txt 文件，不要谈论它。谈谈页面头部添加meta的方法

　　SEO优化元标签name="robots" content="index,follow,noodp,noydir"，我们来解释一下。

　　name="ROBOTS"content="NOODP">

　　这些元标记控制搜索引擎如何抓取和索引页面。 “robots”元标记指定的规则适用于所有搜索引擎。谷歌理解以下值（指定多个值时，用逗号隔开）：

　　当你完全省略这个标签或者当你指定 content="all" 时，默认规则是 "index, follow"。 “请注意，您现在还可以通过页面顶部的“X-Robots-Tag”HTTP 标头命令指定此信息。这特别有用，尤其是当您想要微调 PDF 的抓取和索引时、图像或其他类型的非 HTML 文档。