php禁止网页抓取( 如果我们有些文件夹或者文件不想让百度收录的时候应该怎么办呢？)

　　php禁止网页抓取(

如果我们有些文件夹或者文件不想让百度收录的时候应该怎么办呢？)

　　如何设置机器人拒绝百度和谷歌收录

　　不想让百度收录一些文件夹或文件怎么办？

　　我们可以使用机器人来解决这个问题。机器人可以和搜索引擎达成一定的协议，让搜索引擎不收录指定文件和文件夹。

　　robots.txt 是最简单的 .txt 文件，它告诉搜索引擎哪些页面允许收录，哪些页面不允许收录。

　　关于robots.txt 一般站长需要注意以下几点：

　　如果您的网站对所有搜索引擎开放，则无需将此文件设为空，否则 robots.txt 为空。

　　必须命名为：robots.txt，全小写，robots后加“s”。

　　robots.txt 必须放在站点的根目录中。如：可以通过 成功访问，说明站点放置正确。

　　robots.txt中一般只写两个函数：User-agent和Disallow。

　　观察此页面并将其修改为您自己的：

　　如果有多个禁止，则必须有多个 Disallow 函数并在单独的行中进行描述。

　　必须至少有一个 Disallow 函数，如果所有 收录 都允许，则写： Disallow: ，如果 收录 都不允许，则写： Disallow: / （注意：只有一个斜杠不见了）。

　　附加说明：

　　User-agent: * 星号表示允许所有搜索引擎收录

　　Disallow: /search.html 该页面被搜索引擎禁止抓取。

　　不允许：/index.php?表示此类页面禁止被搜索引擎抓取。

　　以上是拒绝搜索引擎收录的设置方法，根据以上设置即可满足拒绝搜索引擎收录的要求。