,欢迎访问搜索引擎工作原理收录流程（一）(图)

　　,欢迎访问搜索引擎工作原理收录流程（一）(图)

　　欢迎访问搜索引擎的工作原理收录流程1、提交url是一种被动且耗时的行为。 2、建立外部链接后，外部链接的数量，质量和相关性会影响进入时间，该时间是有效的。页面收录的方法页面收录所使用的策略是从过滤掉相对重要的信息。如果使用相同的爬网策略，并且在同一站点中爬网页面资源更有效，则它将在网站上停留更长时间，并且收录自然会喜欢更多的页面。广度优先。优点：首先抓取重要页面。应对策略：在较浅的页面上设计重要信息。深度优先。优点：页面需求长尾，可以抓取更多不受欢迎和隐藏的页面，以满足更多用户的需求。应对策略：重要信息位于多级页面上。用户提交。优点：大大提高收录页的效率和数量以及收录页的质量。如何避免重复收录（页面重复，内容重复）网站中的重复信息：重新打印的内容，镜像的内容。重复信息的影响：占用硬盘并延长用户搜索时间的权重：原创>重新打印>镜像（几乎完全忽略）重新打印的页面比较多个M区域，分为N区域页面。如果M> A（某个阈值），则将每个重新打印。通过比较上次修改时间，页面权重和其他因素来判断原创。镜像页面比较分为N个区域的多个页面。如果N个区域的内容完全相同，则这些页面被视为彼此的镜像页面。

　　判断原创就像被重印一样。镜像网站狭义的镜像网站是指相同的内容网站。形成原因：1、多个域名或IP指向同一服务器的同一物理目录； 2、 网站的全部内容使用不同的域名或IP复制到服务器。通过判断这些网站的主页和直接链接到该主页的页面是否是彼此的镜像页面，来识别来源网站。然后整合多个因素（例如网站权重值，建立时间等）进行识别。镜像网站的收录页很少，甚至收录页也没有。页面维护方法是允许搜索引擎适应网站的不断变化和丢失的条目。定期爬网定期维护所有收录页。页面权重的重新分配也与页面维护同步进行。它适用于页面很少且内容更新较慢的用户网站。缺点：由于维护周期长，因此无法及时向用户反映页面的更改。增量爬网定期监视爬网的页面，以实现页面的更新和维护。 （不切实际）基于80/20规则，搜索引擎仅对某些重要页面网站中的某些重要页面进行常规监视，然后可以获得网站中相对重要的信息。优点：重要页面内容的更新将立即发现新内容，新链接，并删除不存在的信息。分类和位置爬行根据页面的类别或性质，制定了相应更新周期的页面监视方法。

　　新闻周期比资源下载周期短。大型门户网站网站的内容更新速度比小型门户网站网站快。优点：极大地提高了页面爬网的灵活性和实时性能。补充：各种爬网方法的组合来爬网页面。页面存储搜索引擎在爬网过程中是否可以获得更多有价值的信息，将直接影响搜索引擎的工作效率和排名结果的质量。因此，除了存储原创页面之外，搜索引擎还附加了一系列信息（例如文件类型，文件大小，上次修改时间，rul，ip地址，爬网时间等），并以此为基础执行某项任务。网页分析在原创页面上执行一系列分析和处理，以迎合用户查询信息的习惯。建立关键字索引和反向索引，并分配权重。为了提高页面检索的效率，网页索引建立了对页面URL的索引。网页分析文本信息提取过滤非文本信息（HTML标记，JS标记，PHP标记）。分词/分词通过对过滤后的文本内容进行分词（此行为是分词/分词），可以形成与用户查询条件相匹配的基于关键字的信息列表。分词算法：1、字符串匹配分词2、统计分词。 3、关键字索引。它记录了关键字所在的页码，关键字号，关键字的出现次数以及关键字在文档中的位置信息。

　　4、关键字重组。使用与多个网页相对应的关键字创建方向索引。页面排序页面相关性1、关键字匹配度缺点：网站的所有者易于操纵。还需要结合关键字密度，关键字分布和关键字权重标签来确定。 2、关键字密度关键字密度是页面上关键字频率与总单词量的比率。不同的密度对应于不同的密度值。 3、关键字分布根据关键字位置对应于不同的分布值。 4、关键字权重标签链接权的入度和出度，及其权重分布。 1、内部链接2、外部链接3、默认权重分配用户行为点击率关键字查询查询过程用户行为1、搜索元素。计算词汇流行度并发现新词汇。 2、单击3、缓存机制。缓存搜索次数最多的前20％的关键字。