搜索引擎优化方式(WebHTML代码分析的基本原理及区分)

　　搜索引擎优化方式(WebHTML代码分析的基本原理及区分)

　　目录

　　1.搜索引擎原理

　　1、基本概念

　　中文维基百科释义：（网络）搜索引擎是指从互联网上自动采集信息，经过一定排序后提供给用户查询的系统

　　网络搜索引擎提供了一个在万维网上搜索信息的界面。信息可以考虑网页、图像和其他类型的提供

　　2、分类

　　根据工作原理的不同，它们可以分为两大类：全文搜索引擎和分类目录

　　分类目录通过手动采集和排序网站数据形成数据库，如雅虎中国和国内搜狐、新浪和网易分类目录。此外，互联网上的一些导航网站也可以属于原创分类目录，如“网站主页”（）

　　全文搜索引擎自动分析网页的超链接，依靠超链接和HTML代码分析获取网页信息内容，并根据预先设计的规则形成索引供用户查询

　　两者的区别可以用一句话来概括：分类目录是手动的网站索引，全文搜索是自动的网页索引。有些人经常将搜索引擎与数据库检索相比较，这实际上是错误的

　　3、全文搜索的工作原理

　　全文搜索引擎由三部分组成：一般信息采集、索引和搜索。具体来说，它可以由五部分组成：搜索器、分析器、索引器、搜索器和用户界面

　　（1）信息采集：信息采集的工作由搜索者和分析者共同完成。搜索引擎使用称为网络爬虫、蜘蛛或机器人的自动搜索机器人程序来查询网页上的超链接

　　进一步解释：“robot”实际上是一些基于web的程序，它们将网站上的HTML页面请求为采集HTML页面。它在指定范围内遍历整个web空间，不断从一个页面转移到另一个页面，从一个站点移动到另一个站点，并将页面采集添加到网页数据库中。“robot”每当你遇到一个新网页时，你必须搜索它的所有内部链接。因此，从理论上讲，如果你为“机器人”建立一个合适的初始网页集，并从该初始网页集开始遍历所有链接，“机器人”将能够采集访问整个web空间中的网页

　　互联网之后，在一些开源社区中可以找到许多开源爬虫

　　关键点1：核心在于HTML分析，因此采集robot和采集更容易分析严谨、结构化、可读且无错误的HTML代码。例如，如果页面上有这样一个结尾，则网页显示没有问题，但很可能会被采集收录拒绝。还有类似的超链接作为../***.HTM，它可能会导致爬行器无法识别。这也是需要推广web标准的原因之一。根据web标准制作的网页更易于检索且收录

　　关键点2：搜索机器人有一个特殊的搜索链接库。当搜索同一个超链接时，它会自动比较新旧网页的内容和大小。如果内容和大小一致，则不会是采集。因此，有些人担心修改后的网页是否可以是收录，这是多余的

　　（2）索引）：搜索引擎对信息进行排序的过程称为“索引”搜索引擎不仅要保存采集到的信息，还要按照一定的规则进行排列。索引可以存储在一般的大型数据库中，如Oracle、Sybase等，也可以存储在自己定义的文件格式中。索引是搜索中更复杂的一部分，涉及网页结构分析、分词、排序一个好的索引可以大大提高检索效率和检索速度

　　关键点1：虽然目前的搜索引擎支持增量索引，但是创建索引还是需要很长时间，搜索引擎会定期更新索引，所以即使爬虫来了，我们在页面上搜索也会有一定的时间间隔

　　要点2：索引是区分好搜索和坏搜索的重要标志

　　（3）搜索）：用户向搜索引擎发送查询，搜索引擎接受查询并将数据返回给用户。一些系统在返回结果之前计算和评估网页的相关性，并根据相关性对其进行排序，将相关性高的放在前面，相关性低的放在后面back；其他人在用户查询之前计算了每个网页的网页级别（PageRank将在后面介绍）。返回查询结果时，将大页面级别放在前面，将小页面级别放在后面

　　要点1：不同的搜索引擎有不同的排序规则，因此，在不同的搜索引擎中搜索相同的关键词时，排序是不同的

　　1.1百度搜索引擎的工作原理

　　我对百度搜索的了解：由于他的工作，小生很幸运一直在使用百度的百事企业搜索引擎（该部门已经下岗，主要是因为百度的战略已经开始向谷歌靠拢，不再单独销售搜索引擎，而是转向搜索服务），据百度销售人员介绍，百事可乐的搜索核心与大搜索相同，只是版本稍低，所以我有理由相信搜索的工作模式是相似的，以下是一些简要介绍和注意事项：

　　1、关于网站搜索的更新频率

　　百度搜索可以设置网站的更新频率和时间。一般来说，大型网站的更新频率非常快，并且会设置一个独立的爬虫来跟踪它。但是，百度更勤奋，中小型网站通常每天都会更新。因此，如果你想让你的网站快速更新呃,最好是在大类目录中更新(如雅虎新浪网易),有你的链接在,或者在百度自己的相关"K17"中,有你到"K17"的超链接,或者你的"K17"在一些大的"K17"中,比如大的"K17"博客中

　　2、关于采集

　　百度搜索可以定义采集的深度，也就是说，百度可能无法检索到您的网站的所有内容。它可能只索引您的网站主页的内容，尤其是小型网站

　　3、关于采集

　　百度对网站>的连接和断开有特殊的判断。一旦发现某个网站>被阻止，特别是一些中小型网站>，百度将自动停止向这些网站>发送爬虫。因此，选择一个好的服务器并保持24小时的网站>畅通是非常重要的小时数

　　4、关于更换IP的信息网站

　　百度搜索可以基于域名或IP地址。如果是域名，它会自动解析到相应的IP地址，因此会有两个问题。第一个问题是，如果你的网站和其他人使用相同的IP地址，如果其他人网站被百度惩罚，你的网站将受到牵连。第二个问题是如果您更改IP地址，百度会找到您的域名和IP地址。如果之前的IP地址不一致，您将拒绝向您的网站发送爬虫。因此，建议不要随意更改IP地址。如果可能，尝试独占IP，保持网站的稳定性非常重要网站

　　5、关于静态和动态网站采集

　　很多人担心ASP？Id=等页面是否难以采集，HTML等页面是否易于采集。事实上，情况并不像预期的那么糟。目前大多数搜索引擎都支持动态网站和检索，包括需要登录的网站。因此，不必担心他们的动态网站搜索引擎无法识别，百度搜索中的动态支持可以定制。但是，如果可能，尝试生成静态页面。同时，对于大多数搜索引擎，脚本跳转（JS）、框架

　　Flash超链接，动态页面中收录非法字符的页面别无选择

　　6、关于索引消失的消息

　　如前所述，需要创建搜索索引。一般来说，为了进行良好的搜索，索引是一个文本文件而不是数据库，因此删除索引中的记录并不方便。例如，百度需要使用特殊工具手动删除索引记录。据百度员工称，百度有一群人负责e对于这个问题-接收投资Sue，手动删除记录。当然，您可以根据规则直接删除所有索引，即您可以删除网站下的所有索引。另一种机制（未经验证）是过期网页和作弊网页（主要是网页标题、关键词和内容不匹配）也将在重建索引的过程中删除

　　7、关于卸重

　　百度搜索的重复数据消除不如谷歌的理想。它主要是区分文章的标题和源地址。只要它们不同，就不会自动进行重复数据消除。因此，不必担心采集的内容相同，很快就会受到搜索的惩罚。谷歌的不同的是收录

　　另外，不要认为搜索引擎是这样的