百度搜索引擎优化原理(百度、谷歌搜索引擎原理及原理)

　　百度搜索引擎优化原理(百度、谷歌搜索引擎原理及原理)

　　百度、谷歌搜索引擎原理

　　1、基本概念

　　来自中文维基百科的解释：（网络）搜索引擎是指自动从互联网上采集信息并经过一定的排序后提供给用户查询的系统。

　　来自英文维基百科的解释：网络搜索引擎提供了一个界面来搜索万维网上的信息。信息可能包括网页、图像和其他类型的文件。（网络搜索引擎为用户在互联网上搜索信息提供了一个界面，这些信息包括网页、图片和其他类型的文档）

　　2、类别

　　根据工作原理的不同，它们可以分为两大类：全文搜索引擎（FullText SearchEngine）和目录（Directory）。

　　分类目录是人工采集整理网站数据形成数据库，如雅虎中国和国内搜狐、新浪、网易目录等。此外，互联网上的一些导航网站也可以归为原创类，如“网站首页”()。

　　全文搜索引擎自动分析网页的超链接，通过分析超链接和HTML代码获取网页的信息内容，并按照预先设计好的规则进行分析和组织，形成索引供用户查询。

　　两者的区别可以用一句话概括：目录是网站手动创建的索引，全文搜索是自动创建的网页索引。（有些人经常将搜索引擎比作数据库检索，这是错误的）。连接到

　　3、全文搜索的工作原理

　　全文搜索引擎由三部分组成：一般信息采集、索引和搜索。详细信息可以由五个部分组成：搜索器、分析器、索引器、爬虫和用户界面。

　　(1）Information采集 (Webcrawling)：信息采集的工作由搜索者和分析者完成，搜索引擎使用所谓的网络爬虫、蜘蛛或称为网络机器人的自动搜索机器人（机器人）在网页上寻找超链接。

　　进一步解释：“机器人”实际上是一些基于Web的程序，它通过请求网站上的HTML页面来响应采集 HTML页面，它在指定范围内遍历整个Web空间，并不断地从一页开始转到另一个网页，从一个站点移动到另一个站点，将网页 采集 添加到网页数据库。“机器人”每次遇到一个新的网页，都会搜索里面的所有链接，所以理论上，如果为“机器人”建立了一个合适的初始网页集，从这个初始网页集开始，遍历所有链接，“机器人”将能够采集到整个网络空间的网页。

　　互联网上的很多开源爬虫程序都可以在一些开源社区中找到。

　　关键点1：核心在于html分析，所以严谨、结构化、可读性强、无错误的html代码更容易被采集机器人和采集分析。比如一个页面有这样的结尾，在网页上显示是没有问题的，但是很可能会被采集收录拒绝，比如../。 ./***.htm 这样的超链接也可能导致蜘蛛无法识别它们。这也是需要推广网络标准的原因之一。根据网络标准制作的网页更容易被搜索引擎检索和收录。万维网

　　关键点2：搜索机器人有专门的搜索链接库。当搜索相同的超链接时，它会自动比较新旧网页的内容和大小。如果它们相同，则它们不会是 采集。因此，存在修改页面能否为收录的顾虑，这是多余的。

　　（2）索引：搜索引擎对信息进行排列的过程称为“索引”。搜索引擎不仅需要保存采集到的信息，还需要按照一定的规则进行排列。索引可以使用一般的大数据库，如ORACLE、Sybase等，也可以以自己定义的文件格式存储。索引是搜索中比较复杂的部分，涉及到网页结构分析、分词、排序等技术。一个好的索引可以大大提高提高检索速度。

　　关键点1：虽然现在的搜索引擎都支持增量索引，但是创建索引还是需要很长的时间，而且搜索引擎会定期更新索引，所以即使爬虫来了，当我们可以在页面上搜索时，也会有一定的时间间隔.

　　关键点2：索引是搜索好坏的重要指标。

　　(3）Searching)：用户向搜索引擎发送查询，搜索引擎接受查询并将数据返回给用户。有的系统在返回结果前会计算和评估网页的相关性，并根据相关性排序，把最相关的放在最前面，把相关性较低的放在后面；有的系统在用户查询之前已经计算了每个网页的页面排名（PageRank后面会介绍），并以页面排名返回查询结果。较大的放在前面，较小的放在后面。

　　网络采集

　　关键点1：不同的搜索引擎有不同的排序规则，所以如果你在不同的搜索引擎中搜索相同的关键词，排序是不同的。

　　第二节 百度搜索引擎的工作原理

　　我对百度搜索的了解：由于工作的原因，小生有幸使用了百度的Know-how企业搜索引擎（这个部门已经下岗了，主要是因为百度的战略已经开始向谷歌靠拢，不再卖搜索了引擎分开，并转向搜索引擎）服务），据百度销售人员介绍，Bestone的搜索核心与Big Search相同，只是版本可能略低，所以我有理由相信搜索在以同样的方式。以下是一些简要介绍和注意事项：

　　1、网站 搜索的更新频率

　　百度搜索可以设置网站的更新频率和时间。一般大网站的更新频率很快，会设置独立的爬虫进行跟踪，但是百度比较勤快，中小网站一般每天都会更新. 所以，如果你想让你的网站更新得更快，最好把你的链接放在一个大分类里（比如yahoosina网易），或者百度自己的相关网站，用你的网站 超链接位于或您的 网站 位于某个大型 网站 中，例如大型 网站 博客。

　　2、关于采集的深度

　　百度搜索可以定义采集的深度，也就是说百度不一定会搜索到你的网站的所有内容，可能只会索引你的网站首页的内容，尤其是以小网站为例。

　　3、关于经常无法到达的采集网站

　　百度对网站的开关有特殊判断。如果发现某个网站不起作用，特别是一些中小网站，百度会自动停止向这些网站发送爬虫，选择一个很重要良好的服务器并保持 网站 一天 24 小时畅通无阻。

　　4、关于更换IP网站

　　百度搜索可以基于域名或IP地址。如果是域名，会自动解析到对应的IP地址，所以会出现两个问题。首先是如果你的网站和别人使用了同一个IP地址，如果别人的网站被百度处罚，你的网站就会受到牵连。二是如果你更改了IP地址，百度会发现你的域名与之前的IP地址不对应，也会拒绝。将爬虫发送到您的 网站。因此，建议不要随意更改IP地址。如果可能，请尝试单独使用 IP。保持网站 的稳定性非常重要。

　　5、采集关于静态和动态网站

　　很多人担心asp?id=之类的页面很难采集，html之类的页面很容易采集。事实上，情况并没有他们想象的那么糟糕。目前大部分搜索引擎都支持动态网站采集检索，包括需要登录的网站都可以检索，所以不用担心自己的动态网站 搜索引擎无法识别它。百度搜索支持动态支持。定制。但是，如果可能，请尝试生成静态页面。同时，对于大多数搜索引擎来说，仍然与脚本跳转（JS）、框架（frame）、Flash超链接以及动态页面中收录非法字符的页面无关。

　　6、关于索引消失

　　如前所述，需要创建搜索索引。通常，为了进行良好的搜索，索引是文本文件，而不是数据库。因此，删除索引中的记录并不是一件方便的事情。例如，百度需要使用特殊工具手动删除一条索引记录。据百度员工介绍，百度有专门的团队负责这件事。收到投诉后，将手动删除记录。当然，可以直接删除某个规则下的所有索引，即可以删除某个网站下的所有索引。还有一种机制（未验证），过期页面和作弊页面（主要是页面标题、关键词 和内容不匹配）也会在重新索引过程中被删除。

　　7、关于去重

　　百度搜索的去重不如谷歌的理想。主要是识别文章的标题和源地址。只要不一样，就不会自动去重，所以不用担心采集的内容相似而被快速删除。搜索处罚，google的不同，同名的同时收录不多。

　　另外，不要以为搜索引擎那么聪明，基本遵循一定的规则和公式。如果你想避免被搜索引擎惩罚，你可以避开这些规则。万维网

　　第三节 谷歌搜索排名技术

　　搜索方面，谷歌比百度强，主要是谷歌比较公平，而百度人为因素很多（这也符合我国国情），谷歌公平的原因在于它的排名技术，PageRank .

　　很多人都知道Page Rank是网站的质量等级，网站越小越好。实际上，PageRank 是通过一个特殊的公式计算出来的。当我们在 google 上搜索 关键词 时，页面排名较小的页面的排名会更高。这个公式没有人工干预，所以是公平的。

　　PageRank的最初想法来自于纸质文件的管理。我们知道每篇论文的末尾都有参考资料。如果某个文章被不同的论文多次引用，则可以认为这个文章是一篇优秀的文章。

　　同理，简单来说，PageRank可以客观地评价网页的重要性。PageRank 不计算直接链接的数量，而是将 A 页面到 B 页面的链接解释为 A 页面对 B 页面的投票。这样，PageRank 会根据其获得的票数来评估 B 页面的重要性. 此外，PageRank 还会评估每个投票页面的重要性，因为某些页面的投票被认为具有很高的价值，因此它链接的页面可以获得很高的价值。

　　Page Rank 的公式在此省略，主要讨论影响 Page Rank 的因素。

　　1、指向你的网站的超链接数（你的网站被别人引用了），数字越大，你的网站越重要。通俗的讲，是其他网站友情链接，还是你的网站推荐链接；文章 来源

　　2、超链接你的网站的重要性，也就是说一个质量好的网站有一个超链接到你的网站，说明你的网站也很优秀。

　　3、网页特定因素：包括网页的内容、标题和URL，即网页的关键词和位置。