千方百计禁止搜索引擎抓取后会有什么效果？

　　千方百计禁止搜索引擎抓取后会有什么效果？

　　每个执行seo的人都在尽一切可能使搜索引擎进行爬网和收录，但是在许多情况下，我们还需要禁止搜索引擎进行爬网和收录

　　例如，公司的内部测试网站或内部网络或后端登录页面肯定不希望被外部人员搜索，因此应禁止搜索引擎。

　　禁止搜索引擎爬网会有什么作用？

　　将搜索结果的屏幕截图发送给所有人，以禁止搜索引擎抓取网站：

　　如您所见，描述未被捕获，但是有一个提示：由于网站的robots.txt文件具有受限制的指令（限制了搜索引擎抓取），因此系统无法提供对的内容的描述页面

　　因此实际上是通过robots.txt文件控制对搜索引擎收录的禁止

　　百度对robots.txt的官方解释是这样的：

　　机器人是站点与蜘蛛进行通信的重要渠道。该网站通过漫游器文件声明，网站的部分不打算由搜索引擎收录进行搜索，或者指定的搜索引擎仅具有收录的特定部分。

　　9月11日，百度搜索机器人进行了升级。升级后，机器人将优化网站视频URL 收录的抓取。仅当网站收录不想由视频搜索引擎收录使用的内容时，才需要使用robots.txt文件。如果您想要搜索引擎收录 网站上的所有内容，请不要创建robots.txt文件。

　　如果您的网站未设置机器人协议，则百度搜索网站视频URL的收录将包括视频播放页面的URL，页面上的视频文件，视频和其他信息。对网站 k19]短视频资源的搜索将作为视频速度体验页面呈现给用户。此外，对于长片综艺节目，电影和电视节目，搜索引擎仅具有收录页网址。

　　通过上述话，我们可以得出两个结论：

　　1、 robots.txt也不起作用

　　2、 网站收录您不希望搜索引擎收录在robots.txt中声明的内容