搜索引擎如何抓取网页(学SEO优化就上《SEO自学网》一个拒绝搜索引擎收录网站 )

　　搜索引擎如何抓取网页(学SEO优化就上《SEO自学网》一个拒绝搜索引擎收录网站

)

　　在“SEO自学网”学习SEO优化

　　新建一个网站后，只要搜索引擎蜘蛛抓取到的网站内容不是很差，那么搜索引擎很有可能收录我们的网站，如果我因为某种原因不想让搜索引擎收录网站怎么办？

　　事实㊤拒绝搜索引擎收录网站可以使用robots.txt（什么是robots.txt）来屏蔽搜索引擎蜘蛛，仅供参考

　　Robots是搜索引擎必须遵守的互联网协议，所以可以通过robots拒绝所有搜索引擎收录，代码如㊦：

　　用户代理：*

　　禁止：/

　　㊤旁边的两行代码表示禁止所有搜索引擎（User-agent: *）抓取所有内容（Disallow: /）

　　当然也可以用㊦码禁止百度收录：（如果要拒绝其他搜索引擎，请将user-agent:后面的内容替换成其他搜索引擎蜘蛛的㊔名称，各大搜索引擎蜘蛛的名字可以参考：

　　)

　　用户代理：baiduspider

　　禁止：/

　　如果您不希望搜索引擎拍摄快照，您可以这样做：

　　将此代码添加到头部㊥

　　如果您希望搜索引擎对网页进行索引并禁止跟踪，您可以这样做：

　　所以我们需要明确是禁止搜索引擎收录网站还是拒绝搜索引擎创建快照，然后选择合适的方法