seo优化全解第1版-搜索引擎入门详解(微软大百（MSNEncarta）是怎么定义搜索引擎的吧的？)

　　seo优化全解第1版-搜索引擎入门详解(微软大百（MSNEncarta）是怎么定义搜索引擎的吧的？)

　　本文由164184163贡献 第一章：搜索引擎基础 第一节：什么是搜索引擎1.1.1. 搜索引擎的作用 如果非要列出什么搜索引擎可以做，恐怕没有人能给出完整的答案。目前大部分网站用户都是通过搜索引擎进入的。如果用户想购买产品，但不知道该购买哪个在线商店，他会进行搜索。我们的搜索引擎是为了让用户满意。这些需要。我们都知道现在网络上垃圾邮件很多，我们搜索引擎的作用就是把更好的网站和优质的网站排在页面的最前面，所以用户可以通过引擎快速找到自己的位置。这应该是发动机的功能。1.1.2. 搜索引擎的定义很难定义一个搜索引擎。有些人认为搜索引擎是百度，有些人认为搜索引擎是谷歌，有些人认为搜索引擎是雅虎。如果非要给个定义，我们来看看MSNEncarta这本书是如何定义搜索引擎的：所谓的搜索引擎（Search Engines）就是那些能够主动搜索信息（搜索网页上的词和短词）的引擎. 具体内容描述）和自动索引的Web网站，其索引内容存储在一个可供检索的大型数据库中，并建立索引和目录服务。它是一个为您提供信息“检索”服务的网站。

　　本电子书由站长百科教程制作团队制作。更多信息请访问站长百科第2节：搜索引擎的工作原理1.2.1 探索蜘蛛和机器人，搜索引擎需要在线了解对于新事物，你必须派人出去采集它们。每天都有新的网站生成，网站的内容每天都在更新，网站生成的数量，更新网站的内容是爆炸性的，手动完成这项任务是不可能的，所以搜索引擎的发明者设计了计算机程序并发送它们来执行这个任意检测器。有很多名字，也叫Crawler、蜘蛛蜘蛛、机器人。这些塑造者被称为Googlebot，百度被称为Baiduspider，雅虎被称为 Slurp。不管叫什么，都是人编的计算机程序。他们日夜访问各种网站，取回网站的内容、标签、图片等，然后根据搜索引擎的算法进行索引。网络蜘蛛通过网页的链接地址搜索网页，从某个页面（通常是首页）开始，读取网页内容，找到网页中的其他链接地址，然后使用这些链接地址寻找下一个网络就这样一直循环下去，直到这个网站的所有网页都被爬完。如果您将整个互联网当做站长百科教程制作团队的电子书，请访问站长百科网站，

　　搜索者将搜索到搜索结果的链接地址和页面内容摘要等内容进行整理并返回给用户。1.2.2. 如何识别搜索引擎机器人的身份 搜索引擎派自己的搜索机器人访问网站的内容并索引，网站管理员也默认并欢迎他们访问。但是由于搜索引擎派机器人访问会在一定程度上影响网站的性能，所以并不是所有的机器人都是无害的，一些非法机器人伪装成主流搜索引擎机器人遍历了很多网站 ，并且不遵循robots.txt规范，会严重拖慢网站的性能，没有其他好处。因此，网站 管理员需要验证每个机器人的身份是否合法。在您的服务器日志文件中，您可以看到每次访问的路径和对应的 IP 地址。如果是机器人访问，则用户代理会显示搜索引擎机器人的名称，例如 Googlebot 或 MSNBot。引擎有自己的user-agent，但仅凭这一点还不足以证明这个机器人的合法性，因为很多垃圾邮件发送者还可能将自己的机器人命名为Googlebot，变相输入网站并迷惑它，疯狂挖掘。内容。但这还不足以证明这个机器人的合法性，因为很多垃圾邮件发送者可能还会给自己的机器人起个名字Googlebot，变相输入网站混淆它，疯狂挖掘。内容。但这还不足以证明这个机器人的合法性，因为很多垃圾邮件发送者可能还会给自己的机器人起个名字Googlebot，变相输入网站混淆它，疯狂挖掘。内容。

　　目前主流搜索引擎推荐网站管理员使用这种方法识别真实机器人：通过DNS反向查询，找出搜索引擎机器人IP地址对应的主机名；使用主机名查找IP地址确认机器名与IP地址匹配。首先，使用反向DNS查找，找出机器人IP地址对应的主机名。主流搜索引擎的主机名通常应该是这样的：域名中应收录主机名，域名中应收录主机名。本电子书由站长百科教程制作组制作。更多信息请访问雅虎站长百科：域名中应收录主机名，如：。最后，做一个 DNS 查询并使用主机名查找 IP 地址（正向 DNS 查找）以确认主机名与 IP 地址匹配。这证明机器人是合法的。现在，如果您发现机器人冒充合法的搜索引擎机器人，您可以通过服务器上的设置阻止非法机器人。第三节：SiteMap简介1.3.1. 什么是SiteMap Sitemaps协议使您可以通知搜索引擎网站哪些URL可供抓取。

　　最简单的方法是将 Sitemaps 协议的 Sitemaps 变成一个 XML 文件，列出某个 网站 的所有 URL。该协议可以高度智能地捕获网站。当用户无法通过可浏览界面访问 网站 的所有区域时，站点地图特别有用。（通常，这意味着用户无法通过跟踪链接访问网站 的特定页面或区域。）例如，那些只能通过搜索表单访问某些页面的网站 将创建站点地图并提交它们。搜索引擎。该文件说明了站点地图文件的格式，并说明了站点地图文件的发布位置，以便搜索引擎可以检索到它。请注意，站点地图协议是对搜索引擎用于发现 URL 的基于爬网的机制的补充而不是替代。通过向搜索引擎提交一个站点地图（或多个站点地图），它可以帮助搜索引擎更好地抓取您的站点。即使谷歌和雅虎收录已经做了，仍然需要使用SiteMap。为什么？主要有两个原因：SiteMap帮助搜索引擎对网站更加友好，不要让网站的收录有漏洞或者收录不完整。SiteMap在这方面可以起到很好的作用。SiteMap提交到搜索引擎后，方便您以后进行下一步操作。比如网上的电子书就是由站长百科教程制作组制作的。想要查询更多的信息，请访问站长百科的外链和内链错误。为了更好的调整，所有这些都将使用SiteMap的提交功能。

　　因此，SiteMap 的整个作用不容忽视。如果你的网站属于以下情况，那么使用SiteMap会特别有用： 网站 有一些页面不容易找到，比如大量富含AJAX Flash内容的页面。网站 上页面的相对重要性。如果你的网站有上面描述的情况，那么你需要创建一个SiteMap 1.3.2.Sitemaps文件的位置Sitemaps文件的位置决定了可以做什么在 Sitemaps 中完成的一组 URL 包括在内。Sitemaps 文件可以收录以 开头的任何 URL，但不能收录以 开头的 URL。如果您有权更改，您还应该能够提供有关以 为前缀的 URL 的信息。被视为有效的 URL 示例包括： ;user=3453 被视为无效的 URL 包括： ;user=3453 被视为无效的 URL 将不被考虑。强烈建议将站点地图放置在 Web 服务器的根目录中。例如，如果找到了 Web 服务器，则应找到 Sitemaps 索引文件。

　　在某些情况下，您需要为不同的路径创建相应的 Sitemap，例如，如果在您的组织中，安全权限对应不同的目录来划分上传权限。本电子书由站长百科教程制作团队制作。更多信息请访问站长百科1.3.3.XMLSitemaps格式 Sitemaps协议格式由XML标签组成。Sitemaps 中的所有数据值都应该进行实体转义。文本本身应该是 UTF-8 编码的。以下是仅收录一个 URL 并使用所有可选标记的站点地图示例。可选标记为斜体。2005-01-01 月刊 0.8 站点地图以开始标签开始，以结束标签结束。每个 URL 都收录一个条目作为父标记。每个父标签都收录一个子标签条目。XML 标签定义 下面描述了可用的 XML 标签。需要对该文件进行封装，并提供当前的协议标准作为参考。每个 URL 条目都有一个父标签。其余标签是该标签的子标签。页面的 URL 是必需的。如果您的 Web 服务器需要 URL，则 URL 应以协议开头（例如：http）并以斜杠结尾。此值应少于 2048 个字符。可以选择最后修改文件的日期。此日期应采用 W3C 日期时间格式。如有必要，此格式允许省略时间部分，仅使用 YYYY-MM-DD。其余标签是该标签的子标签。页面的 URL 是必需的。如果您的 Web 服务器需要 URL，则 URL 应以协议开头（例如：http）并以斜杠结尾。此值应少于 2048 个字符。可以选择最后修改文件的日期。此日期应采用 W3C 日期时间格式。如有必要，此格式允许省略时间部分，仅使用 YYYY-MM-DD。其余标签是该标签的子标签。页面的 URL 是必需的。如果您的 Web 服务器需要 URL，则 URL 应以协议开头（例如：http）并以斜杠结尾。此值应少于 2048 个字符。可以选择最后修改文件的日期。此日期应采用 W3C 日期时间格式。如有必要，此格式允许省略时间部分，仅使用 YYYY-MM-DD。

　　可选页面更改的频率。该值是搜索引擎提供的一般信息，可能与搜索引擎抓取页面的频率不完全相关。有效值为：yearly 本电子书由站长百科教程制作团队制作，欲了解更多信息，请访问站长百科 永不值“总是”应该用于描述每次访问时都会更改的文档。值“从不”应该用于描述存档的 URL。请注意，此标记的值被视为提示而不是命令。虽然搜索引擎爬虫在做决定时会考虑这些信息，但他们对标记为“每小时”的页面的抓取频率可能低于每小时一次，而标记为“每年”的页面 可能比每年更频繁地爬行一次。爬虫程序也可能会定期爬取标记为“从不”的页面，以便它们可以处理对这些页面的意*敏*感*词*为 0.0 1.0。这个值不会影响你的网页与网站上其他网页的对比结果，只会告诉搜索引擎你认为哪个网页最重要，这样他们就可以按照你喜欢的方式抓取你的网页进行排序。网页的默认优先级为0.5。请注意，您为页面指定的优先级不会影响您的 URL 在搜索引擎结果页面上的排名。搜索引擎在同一 < @网站。因此，您可以使用此标签来增加搜索索引中相对重要的 URL 的可能性。另外请注意网站中的所有URL都给你高优先级对你没有好处。由于优先级是相互关联的，它们仅用于在您自己的网站 网页之间进行选择；您的网页的优先级将与其他网页不同。