搜索引擎工作原理一共包括三个过程：爬虫陷阱

　　搜索引擎工作原理一共包括三个过程：爬虫陷阱

　　搜索引擎的工作原理包括三个过程：Web搜索，预处理信息和建立索引。

　　详细信息分为：搜寻-搜寻-处理搜寻信息-建立索引-呈现排名

　　一个：爬行

　　抓取的目的：创建要抓取的列表

　　Google采集器：ddos百度采集器：蜘蛛

　　1、找到：

　　新的网站

　　被动等待：设置Robots.txt文件，将其放在服务器上，然后等待爬网程序自行爬网。 （对于Google来说是几周，对于百度来说是一个月到几个月。）

　　积极吸引爬虫：编写带有链接的软文，并在高质量和高权重的网站上花钱，使用高权重的博客，并在高质量的论坛中发布链接。

　　新内容

　　您可以将首页放在首页上，否则尝试将其放在首页中（摘要：争取重量较大的地方）

　　横幅图片不如幻灯片好，幻灯片不如文本好。 （摘要：文本优先，图片写有alt属性）2、采集器分析：

　　查看：网站日志分析。您可以在日志文件中查看网站站长工具：检查抓取频率。当它太高时，将导致服务器崩溃并解决：网站突然访问是

　　首先点击网站网站 收录，看看您是否受到了惩罚

　　分析日志采集器并记录IP（蜘蛛，用户）

　　统计代码有问题

　　3、爬行策略：

　　

　　深度优先：一个列的末尾（100万至1000万页）宽度优先：对等列的采集（100万页）混合：两者的混合使用（501000万页）页面）

　　4、履带式爬行障碍物：

　　txt文件设置不正确。服务器本身（频繁的动态IP，不稳定的服务器）URL的问题太长，搜索引擎采集器过于懒惰以至于无法直接捕获它。爬行动物陷阱

　　二：抓取

　　该网页本身必须符合W3C标准

　　标头信息：状态码：200（正常访问），404（无效链接），301（永久重定向），302（谨慎的临时重定向），403（禁止访问），5xx（数据库问题））编码：建议使用utf- 8. gb2312在国外打开。它是乱码。 TDK 关键词：标题：尽量靠近。我们希望采集器进入某个页面并查看我们的主题内容。

　　长度：33个汉字文章 25个汉字就足够了。两个英文字符视为一个字符

　　位置：关键词在位置之前

　　次数：不要重复太多（该列可以强调关键词，Z在前面很重要）

　　可读性：考虑用户体验

　　原创性：蜘蛛喜欢新鲜的东西

　　关键字：第一页5-7，第一列5-6，第二列4-5，列表页面3-4，主题2-3。 Deion ：（该列必须写在关键词周围）

　　功能：提高点击率

　　密度：3-8％

　　长度：80个汉字

　　原创性：适合收录

　　可读性：用户体验方面的考虑

　　号召性用语：活动和促销等页面

　　3、公共部分：

　　搜索引擎不会抓取重复部分（抓取者喜欢新鲜的原创东西，重复内容不利于抓取）

　　4、导航：主导航，辅助导航，左导航，SEO导航（标签），面包屑导航（不使用JS实现），

　　5、广告：

　　横幅图片不如幻灯片好，幻灯片不如文本好（摘要：文本优先，图片写alt属性）。该文本非常适合抓取工具抓取。

　　6、身体：

　　关键词：次数合适，密度适中3-8％，位置在前面（金华网站管理员工具可以找到）标签：唯一性，整个页面是最重要的。尽可能在前面的标签中收录关键词，关键词：非唯一性，第二重要性。可以在属性中添加其他属性：只能用于

　　旨在说明蜘蛛图片的解释属性：在链接中添加描述性文本，可以为用户提供更清晰的含义。定位文字：（所有内容都应注意相关性）定位文字必须具有相关的关键词和与人脸相关的

　　三：处理抓取结果（预处理）

　　采集器抓取它并将其压缩为数据包以返回数据库

<p>相关性：由于百度的算法上下文分析+语义分析，网站不要出现不相关的内容，否则搜索引擎也将掠过权威：各种奖励，在线比较和百度应用程序客户服务会增加信任度。