抓取网页生成电子书( 网站通过Robots协议告诉搜索引擎哪些页面不能被查看)

　　抓取网页生成电子书(

网站通过Robots协议告诉搜索引擎哪些页面不能被查看)

　　生产和使用

　　网站 robots.txt文件

　　机器人协议（也称为爬虫协议，机器人协议等）的全称是“网络爬虫排除标准”（机器人排除协议），网站告诉搜索引擎，其通过机器人协议网页可以抓取，该页面可以赶不上接。

　　robots.txt文件是使用任何常用的文本编辑器，如Windows系统的文本文件自带的记事本，您可以创建和编辑它的robots.txt是一个协议，而不是一个命令。 robots.txt文件是第一次网站搜索引擎访问您要查看。 robots.txt文件告诉蜘蛛哪些文件可以被视为在服务器上。

　　当一个搜索蜘蛛访问一个网站时，它将首先检查是否有在该网站的根目录的robots.txt，如果存在的话，以确定搜索机器人的范围将根据文件的内容访问;如果文件不存在，所有的搜索蜘蛛将无法访问网站所有受密码保护的网页。百度官方推荐只有当你的网站不想被包括在@ 收录内容，需要一个robots.txt文件搜索引擎。如果你想在搜索引擎上的所有内容收录 网站@ @，不创建一个robots.txt文件。

　　如果在网站视为一个酒店房间，robots.txt的是房间的门挂“请勿打扰”或所有者“欢迎干净”的提示牌。此文件告诉来访的搜索引擎室进入并访问其中，因为什么空间来存储贵重物品，或可能涉及居民和游客不开放给搜索引擎的隐私。然而，robots.txt的不是命令，而不是一个防火墙，因为网守不能防止盗窃和其他恶意入侵者。

　　大家都知道，在robots.txt文件网站优化，是一个沉重的脚步，我们的robots.txt正确书写有利于我们的优化，我们需要知道它是一个协议，可以说该协议爬行动物，机器人协议。它的作用是告诉搜索引擎蜘蛛我们网站这些页面可以抓取，那些谁不能抓取，所以这一步是SEO 网站最优化是非常重要的，但是这一步也是很认真的写，一次写入错了，这是非常严重的自身网站会，如错误的目录，那么这个目录会导致事情不被抓取，所以我们必须了解我们网站架构，我们每个目录知道是什么这意味着，这将有助于我们写的robots.txt协议，直到搞懂自己​​网站架构@，最好不要写的robots.txt。首先了解说。现在，我会说一些关于生产方法和使用方法：

　　我们只需要知道两个标签，允许和禁止的首先，许可证，一个是不允许的，相对于它的作用，我们都可以理解。我们绝不能混淆，以及一个符号：*该符号表示：所有的意义

　　用户代理：*

　　不允许：

　　或

　　用户代理：*

　　允许：

　　如果我想屏蔽索索蜘蛛抓取，

　　用户代理：sosospider

　　不允许：/

　　我们可以发现这种蜘蛛盾，使上述比较只是多了一个“/”，其含义是完全不同的，所以当字迹要小心，因为不能写斜线堵住蜘蛛甚至不知道。有在用户代理：蜘蛛命名后面蔑视固定，如果它是用“*”表示所有为蜘蛛

　　我们希望禁止网站文件在目录不允许搜索引擎蜘蛛爬行到：

　　用户代理：*

　　不允许：/目录/.

　　如果这是为了防止一个目录的爬行，然后将目录名时一定要注意“/”，没有“/”阻止访问网页的目录页和目录，并把“/”表示目录到页面下的停止内容，这两点讲清楚。如果你想屏蔽多个目录需要使用。

　　如果蜘蛛是为了防止访问某些类型的文件，例如阻止爬行.jpg格式的图像可以被设置为：

　　用户代理：*

　　不允许名：.jpg $

　　？！

　　如果我网站后缀多页目录号，怎么写呢，我们可以写;

　　用户代理：*

　　不允许：？ / *

　　最后，我们写出的robots.txt时间，我们必须大写和小写字母之间进行区分，而且被写入的robots.txt 网站根目录。对生产网站 robots.txt文件，每个人都已经知道这件事？