网站内容抓取工具(国际互联网界通行的道德规范文件生成工具-在线robots文件使用方法)

　　网站内容抓取工具(国际互联网界通行的道德规范文件生成工具-在线robots文件使用方法)

　　在线robots文件生成工具：Robots.txt是存放在网站根目录下的纯文本文件，该文件可以通过互联网访问。什么是 robots.txt 文件？1. Robots.txt是存放在站点根目录下的纯文本文件。虽然它的设置很简单，但是它的效果却非常强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者禁止搜索引擎蜘蛛抓取网站的部分或全部。2、robots.txt（统一小写）是存放在网站根目录下的ASCII编码文本文件。它通常告诉网络搜索引擎的机器人（也称为网络蜘蛛）这是网站哪些内容不应被搜索引擎机器人获取，哪些内容可以由（机器人）获取。

　　3、如果你想单独定义搜索引擎robots访问子目录时的行为，你可以将你的自定义设置合并到根目录下的robots.txt中，或者使用robots metadata。4、由于某些系统中的URL是区分大小写的，robots.txt的文件名应该统一小写。robots.txt应该放在网站的根目录下。

　　5、robots.txt协议不是规范，而是约定，不保证网站的隐私。注意robots.txt是通过字符串比较来判断是否获取URL，所以目录末尾的URL和没有斜线“/”的URL是不一样的。Robots.txt 允许使用诸如“Disallow:*.gif”之类的通配符。6. Robots 协议是国际互联网社区通用的道德规范。它的建立基于以下原则：1、搜索技术应该为人类服务，同时尊重信息提供者的意愿并维护他们的隐私权；2、网站有义务保护其用户的个人信息和隐私不受侵犯。

　　如何使用robots.txt文件

　　1、Robots.txt文件应该放在网站的根目录下，该文件可以通过互联网访问。例如：如果你的网站地址是那么，文件必须能够打开并看到里面的内容。