搜索引擎禁止的方式优化网站(robots.txt中禁止百度收录的内容，大约多长时间能生效？)
优采云 发布时间: 2022-01-06 19:25搜索引擎禁止的方式优化网站(robots.txt中禁止百度收录的内容，大约多长时间能生效？)
我放置或者只是修改了robots.txt的内容，多久生效？
baiduspider通常每天访问一次网站的robots.txt文件，您对robots所做的更改将在48小时内生效。需要注意的是，robots.txt 禁止了 收录 以前被百度收录 的内容，并且可能需要几个月的时间才能将其从搜索结果中删除。
我在robots.txt中设置了禁止百度收录me网站，为什么还是出现在百度搜索结果中？
如果您的robots.txt文件中设置了禁止收录的其他网站链接，这些网页可能仍会出现在百度的搜索结果中，但您网页上的内容不会被抓取，索引和显示，百度搜索结果中显示的只是您相关网页的其他网站描述。
防止搜索引擎在搜索结果中显示网页快照，只索引网页
百度支持设置网页meta，防止搜索引擎显示网站的快照。方法如下：
为了防止所有搜索引擎显示您的 网站 快照，请将此元标记放在页面的一部分中：
要允许其他搜索引擎显示快照，但只阻止百度显示，请使用以下标签：
注意：此标签仅禁止百度显示网页快照。百度将继续对网页进行索引，并在搜索结果中显示网页摘要。
robots.txt 文件的格式
“robots.txt”文件收录一个或多个记录，由空行分隔（以CR、CR/NL或NL作为终止符）。每条记录的格式如下：
”：
”。
可以在这个文件中使用#做注释，具体用法同UNIX中的约定。此文件中的记录通常以一行或多行 User-agent 开头，后跟几行 Disallow 和 Allow 行。详情如下：
用户代理：
此项的值用于描述搜索引擎机器人的名称。在“robots.txt”文件中，如果有多个User-agent记录，表示多个robots会被“robots.txt”限制。对于此文件，必须至少有一个用户代理记录。如果此项的值设置为*，则对任何机器人都有效。在“robots.txt”文件中，只能有“User-agent:*”这样的一条记录。如果在“robots.txt”文件中添加“User-agent: SomeBot”和几行禁止和允许行，则名称“SomeBot”仅受“User-agent: SomeBot”后的禁止和允许行限制。
不允许：
该项的值用于描述一组不想被访问的 URL。该值可以是完整路径或路径的非空前缀。机器人不会访问以 Disallow 项的值开头的 URL。例如，“Disallow:/help”禁止机器人访问/help.html、/helpabc.html、/help/index.html，而“Disallow:/help/”则允许机器人访问/help.html、/helpabc。 html，而不是访问 /help/index.html。“禁止：”表示允许机器人访问网站的所有URL。“/robots.txt”文件中必须至少有一个 Disallow 记录。如果“/robots.txt”不存在或为空文件，则此网站 对所有搜索引擎机器人开放。
允许：
此项的值用于描述您要访问的一组 URL。与 Disallow 项类似，该值可以是完整路径或路径前缀。允许机器人访问以 Allow 项的值开头的 URL。例如，“Allow:/hibaidu”允许机器人访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。网站 的所有 URL 默认都是 Allow 的，所以 Allow 通常与 Disallow 结合使用，允许访问某些网页，同时禁止访问所有其他 URL。
需要注意的是，Disallow 和 Allow 行的顺序是有意义的，机器人会根据第一个匹配成功的 Allow 或 Disallow 行来决定是否访问 URL。
使用“*”和“$”：
百度蜘蛛支持使用通配符“*”和“$”来模糊匹配URL。
"$" 匹配行尾。
“*”匹配 0 个或多个任意字符。
URL匹配示例
允许或禁止值 URL 匹配结果
/tmp /tmp 是
/tmp /tmp.html 是
/tmp /tmp/a.html 是
/tmp/ /tmp 否
/tmp/ /tmphoho 否
/tmp/ /tmp/a.html 是
/Hello* /Hello.html 是
/He*lo /你好，哈哈，是的
/Heap*lo /Hello,lolo 不
html$ /tmpa.html 是
/a.html$ /a.html 是
htm$ /a.html 否
