大型搜索引擎如何抓取网页和如何索引网页？（上）

　　大型搜索引擎如何抓取网页和如何索引网页？（上）

　　1)了解搜索引擎如何抓取和索引网页。您需要了解一些搜索引擎的基本工作原理、搜索引擎之间的区别、搜索机器人（SErobot 或 webcrawler）的工作原理、搜索引擎如何对搜索结果进行排序等等。 2) 标签优化。主要包括主题（Title）、网站description（Deion）、关键词（Keywords）。还有一些其他的隐藏文本，如Author（作者）、Category（目录）、Language（编码语言）等。 3)如何选择关键词并将关键词放置在网页上。您必须使用关键词 进行搜索。 关键词分析和选择是SEO最重要的任务之一。排名决定的内容越重要，显示的内容就越重要。首先确定网站的主要关键词（通常最多5个），然后针对这些关键词进行优化，包括关键词密度（Density）、相关性（Relavancy）、突出度（Prominency）等。 4)了解主要搜索引擎。搜索引擎虽然千千万万，但对网站流量起决定性作用的却寥寥无几。例如，英文的有Google、Inktomi、Altavista等；中国的包括百度和搜狐。不同的搜索引擎对页面的抓取、索引、排序有不同的规则，需要优化。还要了解搜索门户和搜索引擎之间的关系。例如，Yahoo 和 AOL 页面使用 Google 搜索技术，MSN 使用 Looksmart 和 OpenDirectory 5) 主要互联网目录。

　　雅虎本身不是搜索引擎，而是一个大的网站 目录，OpenDirectory 也不是。它们与搜索引擎的主要区别在于网站 采集内容的方式。 6) 按点击付费搜索引擎。搜索引擎也需要盈利。随着互联网商务的成熟，收费搜索引擎也开始流行。最典型的是Overture和百度。当然，它们也包括谷歌的广告项目 GoogleAdwords。越来越多的人使用搜索引擎点击广告定位业务网站。还有很多关于优化和排名的知识。你必须学会​​用最少的广告投入获得最多的点击量。 7)搜索引擎登录。 网站完成后，不要躺在那里等客人从天上掉下来。让其他人找到您的最简单方法是将网站 提交给搜索引擎。虽然免费不再是互联网的主流（至少是搜索引擎）——如果你的企业网站，各大搜索引擎和目录都会要求你付费才能获得收录（比如雅虎要299美元），但它是好消息是（至少到目前为止）最大的搜索引擎谷歌仍然是免费的，它在搜索市场的份额超过 6%。 8)Link 交换和链接流行度（LinkPopularity）。网页内容以超文本的形式相互链接，网站之间也是如此。除了搜索引擎，人们每天还通过不同网站之间的链接进行冲浪（“冲浪”）。从其他网站 到您的网站 的链接越多，您获得的流量就越多。更重要的是，你的网站拥有的外链越多，搜索引擎就越重视它，这会给你更高的排名。所以，你必须花费大量的精力去推广和与他人交流链接。昆山网站construction