搜索引擎优化知识完(SEO发展史在互联网发展中的“蜘蛛”程序工作原理)

　　搜索引擎优化知识完(SEO发展史在互联网发展中的“蜘蛛”程序工作原理)

　　搜索引擎优化历史

　　互联网发展初期，网站比较少，找资料比较容易。然而，随着互联网的爆炸式发展，普通网民要想找到自己需要的信息，就如同大海捞针。这时，满足公共信息检索需求的专业搜索网站应运而生。

　　现代搜索引擎的鼻祖是 Archie，它是由蒙特利尔大学的学生 Alan Emtage 于 1990 年发明的。虽然当时万维网还没有出现，但网络中的文件传输仍然相当频繁，而且由于大量文件分散在各个分散的 FTP 主机中，查询起来很不方便。因此，Alan Archie 的工作原理与目前的搜索引擎非常相似。关闭，它依靠脚本程序自动搜索互联网上的文档，然后索引相关信息供用户以一定的表达方式查询。受到 Archie 在用户中的受欢迎程度的启发，内华达大学系统计算服务公司在 1993 年开发了另一个非常相似的搜索工具，

　　当时，“机器人”这个词在程序员中非常流行。计算机“机器人”是一种软件程序，可以以人类无法做到的速度不间断地执行任务。因为专门用于检索信息的“机器人”程序像蜘蛛一样在网上爬行，所以搜索引擎的“机器人”程序被称为“蜘蛛”程序。世界上第一个监控互联网规模的“机器人”程序是 Matthew Gray 的 Worldwide Web Wanderer。起初它只是用来统计互联网上的服务器数量，后来发展成可以检索网站域名。与 Wanderer 相对应的是，Martin Koster 在 1993 年 10 月创建了 ALIWEB，这是 Archie 的 HTTP 版本。ALIWEB 不使用“机器人”程序，

　　随着互联网的快速发展，检索所有新网页变得越来越困难，因此一些程序员在马修格雷的流浪者的基础上对传统“蜘蛛”的工作原理进行了一些改进。这个想法是，由于所有网页都可能有到其他 网站 的链接，因此可以从 网站 的链接开始，检索整个 Internet。到 1993 年底，一些基于这一原理的搜索引擎开始出现，其中 Jump Station、The World Wide Web Worm（Goto 的前身，即今天的 Overture）、Repository-Based Software Engineering (RBSE) spider 等。最有名。但是，Jump Station 和 WWWorm 只是按照搜索工具在数据库中找到匹配信息的顺序排列搜索结果，所以根本没有信息相关性。而RBSE是第一个在搜索结果排名中引入关键词字符串匹配度概念的引擎。

　　最早的现代搜索引擎出现在 1994 年 7 月。当时，Michael Mauldin 将 John Leavitt 的蜘蛛程序集成到他的索引程序中，创建了现在称为 Lycos 的东西。同年4月，斯坦福大学两名博士生大卫·菲洛和华裔美籍华人杨致远共同创立了超级目录索引雅虎，并成功让搜索引擎的概念深入人心。从此，搜索引擎进入了高速发展时期。目前，互联网上有数百个姓名和姓氏的搜索引擎，它们检索到的信息量也是过去无法比拟的。例如，最近风头正劲的谷歌，其数据库中存储了 60 亿个网页！

　　随着互联网规模的迅速扩大，单靠搜索引擎已经无法适应当前的市场情况，所以现在搜索引擎之间有了分工合作，提供专业的搜索引擎技术和搜索数据库服务。商业。和国外的Inktomi一样，它本身并不是直接面向用户的搜索引擎，而是为Overture（原GoTo）、Look Smart、MSN、HotBot等其他搜索引擎提供全文网络搜索服务。国内的百度也属于这个类别（注），搜狐和新浪使用它的技术。所以从这个意义上说，它们是搜索引擎的搜索引擎。（引自：搜索引擎优化学院）

　　中国SEO发展历程：

　　总的来说，SEO在中国还是个新鲜事物。让我们来谈谈

　　1、中文网站搜索引擎优化变化

　　2001年以前：免费搜索引擎营销阶段，以免费分类目录登录为主要方式；2001年中-2003年中：由于互联网经济环境、搜索技术、收费等原因，搜索引擎营销市场进入调整期；2003 后期：各种形式的搜索引擎广告迅速发展，基于自然搜索结果的搜索引擎优化开始受到关注；2004-2005年：搜索引擎广告进入高速增长期，营销效果逐渐被企业认可；new 2005年以来：垃圾SEO的泛滥，严重破坏了搜索引擎营销的市场秩序，引起了主流搜索引擎的*敏*感*词*清理。

　　2、中文网站SEO状态

　　A. SEO在国外已经是一个比较正规和成熟的行业。有大量的专业公司和专业技术人员为我们的客户提供全方位的搜索引擎优化服务网站。同时，搜索引擎优化技术也得到了广大网站管理者乃至搜索引擎的认可。但是据说中国的发展形势并不理想，那么目前中国SEO的情况如何呢？与04年的混乱相比，经过优胜劣汰的洗礼，国内SEO市场逐渐向正规化、专业化方向发展，但仍存在规模小、实际可操作性差等情况。

　　从规模上看：SEO行业仍以个体工作室和小公司为主。与此同时，国外一些知名企业也开始进入中国，竞争更加激烈。

　　技术：由于国内缺乏学术交流，缺乏从业者对技术的探索和追求，SEO技术在国内还处于比较低的水平。

　　但是，随着国外企业的到来，势必会推动技术的升级换代。市场：由于算法的改进，原来所谓的优化方法不再可行。国外正规企业的进入，迫使对SEO了解浅的人放弃或转向合法的方法。行业得到了一定程度的净化。

　　B. 谷歌调整了搜索引擎规则。据说很多SEO公司做的网站已经从原来更好的排名中消失得无影无踪了。那么，这次中国SEO行业的调整有什么特别之处吗？做了哪些改变（主要是国内部分SEO的作弊行为、海量信息和留言板非法链接）？

　　自 2005 年以来，谷歌对该算法进行了两项重大改进。

　　***，调整反向链接的权重，加强反向链接相关性的权重。

　　二是“沙盒效应”。“沙盒效应”主要针对新增网站、域名正常运行时间、网站内容是否丰富、更新频率等，作为权重决定了最终的排名，并且占据了很大的比重。这使得原来所谓的优化方法不再有效，也增加了操作的时间。以前依赖垃圾链接和堆叠 关键词 的 SEO 是不可持续的。

　　C. 搜索引擎优化的方法有很多。或者团队主要使用什么方法，这些方法和国*敏*感*词*、求知者的水平等因素。

　　D.说到SEO，有人认为是作弊或*敏*感*词*。是什么让大家对SEO有这样的印象？不可否认，这种现象是存在的，而且可能会长期存在。

　　一方面，企业意识到搜索引擎优化的重要性，但片面追求低投入、短时间、高回报；

　　另一方面，一些从事SEO的公司或个人，为了满足客户的需求，不惜做出各种承诺，减少投资来控制成本。

　　这在很大程度上取决于从业者的立场和原则，更重要的是他们对SEO的片面理解和对搜索引擎优化的严重缺乏理解。很多所谓的seo认为优化无非就是关键词，外链，从而陷入作弊的误区，无法自拔。

　　E、我们前面提到的谷歌搜索规则的变化是否意味着国内SEO的发展畸形？改进搜索引擎算法的过程是一个不断改进的过程。当搜索引擎开发人员发现自己的算法缺陷时，他们会做出改进。发现者可能是搜索引擎开发者自己或用户。两者是相互监督、相互促进的关系。

　　谷歌排名规则的改变，不能说是针对中国SEO行业的。更准确地说，是一些国外的SEO人员利用算法的缺陷，采用了一些不正当的手段来获得更好的排名。这种方法在中国发生了变化。变得更加普遍，迫使谷歌进行算法改进。目前国内存在的一些问题和矛盾在国内SEO的发展中不能说是变形的，应该说是不断演变的。如果有一天，中国的SEO人因为他们的行为可以让谷歌改进算法，那意味着我们已经在一定程度上超越了国外。

　　F、从各方面来看，中国SEO的发展并不顺利，造成了一定的负面影响。那么接下来我们应该怎么做呢？SEO如何朝着健康的方向发展？大概从2002年开始，中国人就已经陆续涉足SEO领域了。在经历了市场洗礼和优胜劣汰之后，国内SEO行业正慢慢走向正规化和规模化。

　　SEO行业能否健康发展，很大程度上取决于从业者自身的技术水平和专业素质，也与广大关心和参与搜索引擎营销的人息息相关。

　　首先，从业者要端正作风，坚守立场，坚守原则，坚持以用户为中心。这也是一个SEO从业者必备的素质；

　　其次，在学术交流方面，要积极参与各种形式的交流讨论，逐步形成相互交流、相互促进的学术环境；

　　***，网络营销人员应该加深对搜索引擎优化行业的认知和理解。搜索引擎优化是一个长期的过程，也是一个渐进的过程。（此部分参考marketer man的博客内容）

　　【编辑推荐】

　　SEO必须使用的五个高级搜索指令