百度搜索引擎优化原理(搜索引擎工作原理解读影响抓取的因素有哪些影响？)

　　百度搜索引擎优化原理(搜索引擎工作原理解读影响抓取的因素有哪些影响？)

　　作为seo工作者，需要了解搜索引擎的运行原理，包括页面质量白皮书和搜索引擎优化指南。今天，我们将重点分析搜索引擎的整个工作原理。

　　搜索引擎的主要工作流程包括：抓取、存储、页面分析、索引、检索等主要流程。也就是说，爬取、过滤、收录、排序这四个过程经常被提及。下面详细解释每个过程及其影响

　　一、搜索引擎抓取

　　蜘蛛抓取系统是搜索引擎数据来源的重要保障。如果把网理解为一个有向图，那么蜘蛛的工作过程可以看作是对这个有向图的一次遍历。从一些重要的*敏*感*词*网址开始，通过页面上的超链接，不断发现和抓取新的网址，尽可能多的抓取有价值的网页。

　　

　　解读搜索引擎的工作原理

　　影响抓取的因素

　　1、Grab 友好

　　互联网资源是一个巨大的数量级，这就要求抓取系统尽可能高效地利用带宽，在有限的硬件和带宽资源下抓取尽可能多的有价值的资源。

　　2、使用抓取返回码表示

　　简单介绍一下百度支持的几种返回码：

　　1） 最常见的 404 代表“未找到”。认为该网页已过期，通常会从库中删除。同时，如果蜘蛛在短期内再次找到这个url，则不会被抓取；

　　2）503 代表“服务不可用”。认为该网页暂时无法访问。通常网站暂时关闭，带宽有限。

　　3）403 代表“Forbidden”，认为该网页当前被禁止。如果是新的url，蜘蛛暂时不会抓取，短时间内会被多次访问；如果是收录url，不会直接删除，短时间内会被多次访问。如果网页访问正常，就会正常抓取；如果仍然被禁止访问，那么这个 url 也将被视为无效链接并从库中删除。

　　4）301 代表“永久移动”，认为网页被重定向到新的 url。遇到网站迁移、域名更换、网站改版时，建议使用301返回码，并使用站长平台网站改版工具，减少改版带来的网站流量损失。

　　3、优先部署

　　由于互联网资源规模的巨大而快速的变化，搜索引擎几乎不可能全部捕获并合理更新以保持一致性。这就需要爬虫系统设计一套合理的抓包。采取优先部署策略。主要包括：深度优先遍历策略、广度优先遍历策略、pr-first策略、反链策略、社交分享引导策略等。

　　4、take 反作弊

　　蜘蛛在爬取过程中，经常会遇到所谓的爬取黑洞或者面对大量低质量的页面，这就需要爬取系统还需要设计一套完整的爬取防作弊系统

　　

　　百度搜索引擎的工作原理

　　网站抓取频率的中断原理

　　1、网站更新频率：更新来得快，更新来得慢，直接影响百度蜘蛛的访问频率

　　2、网站更新质量：更新频率增加，只引起了百度蜘蛛的关注。百度蜘蛛对质量有严格的要求。如果网站每天更新大量内容，百度蜘蛛被判定为低质量页面仍然没有意义。

　　3.连通性：网站应该是安全稳定的，对百度蜘蛛保持开放。经常留百度蜘蛛可不是什么好事。

　　4.网站评价：百度搜索引擎对每个网站都会有一个评价，这个评价会根据网站情况不断变化，是百度搜索引擎对网站的基本评分

　　二、搜索引擎过滤垃圾邮件

　　1.内容重复的网页：网上已有的内容无需百度收录。

　　2.主要内容短而空的网页

　　1） 部分内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，虽然用户访问时可以看到丰富的内容，但还是会被搜索引擎抛弃

　　2） 加载过慢的网页也可能被视为空的短页。请注意，广告加载时间计入网页的整体加载时间。

　　3）很多主题不显眼的网页，即使被抓取回来，也会在这个链接中被丢弃。

　　3、一些作弊页面

　　4、各种过滤，示例可能包括过滤掉死链接、重复数据、*敏*感*词*、垃圾结果和您所知道的；

　　

　　搜索引擎蜘蛛的工作原理

　　三、如何被收录索引

　　哪些网页可以进入优质索引库？其实总的原则是一个：对用户有价值。包括但不仅限于：

　　1.及时性和有价值的页面：在这里，及时性和价值是平行关系，两者缺一不可。有的网站为了生成时间敏感的内容页面，做了很多采集的工作，结果是一堆百度不想看到的毫无价值的页面。

　　2.优质内容的专题页：专题页的内容不一定是原创，也就是可以很好的整合各方内容，或者添加一些新鲜的内容，比如意见、评论，让用户拥有更丰富的内容以及更全面的内容。

　　3、高价值原创内容页：百度将原创定义为文章经过一定成本和大量经验形成的。不要再问我们伪原创是不是原创。

　　4.重要的个人页面：这里只是一个例子。科比已经在新浪微博上开设了一个账户。即使他不经常更新，它仍然是百度的一个极其重要的页面。

　　

　　百度搜索引擎蜘蛛

　　四、百度搜索引擎排名影响因素

　　1.相关性：网页内容与用户搜索需求的匹配程度，比如用户查看网页中收录的关键词的次数，以及这些关键词出现在什么地方；外部网页用来指向页面的锚文本等

　　2.权限：用户喜欢网站提供的内容，具有一定的权限。因此，百度搜索引擎也更相信优质权威网站提供的内容。

　　3.时效性：时效性结果是指收录新鲜内容的新网页。目前，时间敏感的结果在搜索引擎中变得越来越重要。

　　4.重要性：网页内容与用户检查需求相匹配的重要程度或受欢迎程度

　　5.丰富性：丰富性看似简单，但它是一个涵盖面非常广的命题。可以理解为网页内容丰富，完全可以满足用户的需求；既可以满足用户的单一需求，又可以满足用户的扩展需求。

　　6.受欢迎程度：指网页是否受欢迎。

　　7、最终排序，将最符合用户需求的结果先排序，可能收录有用的信息如：网站的整体评价、网页质量、内容质量、资源质量、匹配度、分散程度、及时性等

　　总结：这整个过程就是搜索引擎爬到排名结果页面的计算过程。当然，影响排名的因素有很多。这是一种网页分析技术，但网站的总分是由每个页面组成的。 ，所以需要优化每个网页的细节，做好用户体验，提高网站排名。

　　相关阅读：当我阅读热门文章《搜索引擎百度已死》时，我也有同样的感受。字节跳动搜索引擎“头条搜索”的上网体验不比百度差。 2019年上半年，中国搜索引擎市场份额依然强劲。百度对CDN的使用情况如何？让百度搜索引擎抢源服务器IP 百度【搜索算法】季风算法，主打熊掌域名！伟大的！百度与华能签署合作备忘录，共建智慧能源经济