搜网站内容(禁止搜索引擎抓取后会有什么效果？抓取和收录的效果)

　　搜网站内容(禁止搜索引擎抓取后会有什么效果？抓取和收录的效果)

　　大家做seo都是想尽一切办法让搜索引擎爬取收录，但很多时候我们也需要禁止搜索引擎爬取收录

　　比如公司内测网站，或者内网，或者后台登录页面，肯定不想被外人搜索到，所以应该禁止搜索引擎爬取。

　　禁止搜索引擎抓取会有什么影响？

　　给大家发一张禁止搜索引擎爬取的搜索结果截图网站：

　　可以看到，描述没有被抓取，但是有提示：因为网站的robots.txt文件有限制指令（搜索引擎抓取受限），系统无法提供页面的内容描述

　　所以禁止搜索引擎收录其实是通过robots.txt文件控制的

　　百度官方对robots.txt的解释如下：

　　机器人是网站与蜘蛛沟通的重要渠道。本站通过robots文件声明本网站的部分不想被搜索引擎收录搜索或指定的搜索引擎只是收录的特定部分。

　　9月11日，百度搜索机器人升级。升级后robots会优化网站视频网址收录的抓取。只有当您的网站收录您不想被视频搜索引擎收录搜索到的内容时，您才需要使用robots.txt文件。如果您想要搜索引擎收录网站 上的所有内容，请不要创建robots.txt 文件。

　　如果你的网站没有设置robots协议，百度搜索网站视频网址的收录会收录视频播放页面的网址，以及页面上的视频文件，视频周边文字等信息，搜索已经收录的短视频资源，将作为视频极速体验页面呈现给用户。另外，综艺、影视等长视频，搜索引擎仅为收录页面URL。

　　从上面的话，我们可以得出两个结论：

　　1、robots.txt 不要这样做

　　2、网站有不想要搜索引擎的内容收录，在robots.txt中声明