搜索引擎优化高级编程(360搜索对Robots协议的善意使用协议文件的扩展)

　　搜索引擎优化高级编程(360搜索对Robots协议的善意使用协议文件的扩展)

　　360搜索将优先使用好搜蜘蛛访问本站。如果遇到UA识别无法下载的页面，会被360spider再次抓取，蜘蛛IP不会改变。

　　允许

　　站长可以使用 Allow 命令为 收录 指定推荐的文件和目录。

　　不允许

　　站长可以通过 Disallow 命令指定不推荐的文件和目录收录。

　　机器人协议的 360 搜索扩展

　　根据站长反馈，360搜索将陆续推出扩展Robots协议命令。这些命令将帮助站长提高与360搜索爬虫的通信效率，降低站长维护Robots协议文件的技术成本。

　　360搜索的第一个扩展命令是：indexpage，站长可以通过这个命令告诉360搜索哪些网页更新频繁。360搜索会根据站长指令和自身算法，智能调整爬虫的爬取频率，从而实现对你的网站新内容的更高频率的爬取。

　　* 和 $ 等通配符可以在命令中使用。

　　例子：

　　使用通配符

　　Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

　　没有通配符：

　　Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

　　善意使用机器人协议

　　机器人协议是搜索引擎与 网站 之间的善意协议。我们鼓励网站管理员善意使用本协议，并尽量提供准确的信息。除非有充分的理由，否则不要使用机器人协议来阻止某一方。一些特定的搜索引擎爬虫。

　　360搜索愿与站长携手，共建更健康、公平、透明的搜索引擎生态。