php禁止网页抓取(综艺影视类长禁止搜索引擎抓取和收录的创建抓取方法)

　　php禁止网页抓取(综艺影视类长禁止搜索引擎抓取和收录的创建抓取方法)

　　大家做seo都是千方百计让搜索引擎抓取和收录，但其实很多时候我们还需要禁止搜索引擎抓取和收录

　　比如公司内测的网站，或者内网，或者后台登录页面，肯定不想被外人搜索到，所以应该禁止搜索引擎抓取。禁止搜索引擎爬取方法：在WEB根目录下创建robots.txt文件，其内容为：

　　

User-agent: Baiduspider

Disallow: /

User-agent: Sosospider

Disallow: /

User-agent: sogou spider

Disallow:

User-agent: YodaoBot

Disallow:

User-agent: Googlebot

Disallow: /

User-agent: Bingbot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: Teoma

Disallow: /

User-agent: ia_archiver

Disallow: /

User-agent: twiceler

Disallow: /

User-agent: MSNBot

Disallow: /

User-agent: Scrubby

Disallow: /

User-agent: Robozilla

Disallow: /

User-agent: googlebot-image

Disallow: /

User-agent: googlebot-mobile

Disallow: /

User-agent: yahoo-mmcrawler

Disallow: /

User-agent: yahoo-blogs/v3.9

Disallow: /

User-agent: psbot

Disallow: /

　　给你发一张禁止搜索引擎爬取网站的搜索结果截图：

　　

　　百度官方对robots.txt的解释如下： 机器人是网站与蜘蛛沟通的重要渠道。本站通过robots文件声明，本网站的部分不希望被搜索引擎收录或指定搜索引擎仅搜索到收录特定部分。

　　9月11日，百度搜索机器人全新升级。升级后机器人会优化网站视频网址收录的抓取。只有当您的 网站 收录您不希望被视频搜索引擎 收录 看到的内容时，才需要 robots.txt 文件。如果您想要搜索引擎 收录网站 上的所有内容，请不要创建 robots.txt 文件。

　　如果你的网站没有设置robots协议，百度搜索会在网站的视频URL中收录视频播放页面的URL、视频文件、视频的周边文字等信息。已收录的短视频资源将作为视频速度体验页面呈现给用户。另外，对于综艺、电影等长视频，搜索引擎只使用收录页面URL。