搜索引擎优化步骤(蜘蛛(spider),也称为机器人蜘蛛完成数据收集任务)

　　搜索引擎优化步骤(蜘蛛(spider),也称为机器人蜘蛛完成数据收集任务)

　　爬行和爬行

　　爬取和爬取是搜索引擎工作的第一步，完成数据采集的任务。

　　蜘蛛

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人。

　　蜘蛛代理名称：

　　百度蜘蛛：百度蜘蛛+(+)·

　　Yahoo 中国蜘蛛：Mozilla/5.0（兼容；Yahoo! Slurp 中国；）·

　　英文雅虎蜘蛛：Mozilla/5.0（兼容；Yahoo! Slurp/3.0;）

　　Google 蜘蛛：Mozilla/5.0（兼容；Googlebot/2.1；+）·

　　微软必应蜘蛛：msnbot/1.1 (+)·

　　搜狗蜘蛛：搜狗+web+机器人+(+#07)·

　　搜索蜘蛛：Sosospider+(+)·

　　有道机器人：Mozilla/5.0（兼容；YodaoBot/1.0;;）

　　跟踪链接

　　为了在互联网上抓取尽可能多的页面，搜索引擎蜘蛛会跟随页面上的链接从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。这就是搜索引擎蜘蛛名字的由来 最简单的爬行遍历策略分为两种，一种是深度优先，一种是广度优先。

　　深度优先搜索

　　深度优先搜索是指在搜索树的每一层，始终只有一个子节点被展开，并且不断地向深度推进，直到不能再向前（到达一个叶子节点或受到深度限制）在从当前节点返回到前一个节点之前。一级节点继续向另一个方向移动。这种方法的搜索树是从树的根一棵一棵开始逐渐形成的。

　　深度优先搜索也称为垂直搜索。由于一棵可解的问题树可能收录无限分支，如果深度优先搜索误入无限分支（即深度无限），则无法找到目标节点。因此，深度优先搜索策略是不完整的。另外，应用该策略得到的解不一定是最佳解（最短路径）。