搜索引擎如何抓取网页(搜索门户和搜索引擎之间的关系，Yahoo和AOL网页搜索用)

　　搜索引擎如何抓取网页(搜索门户和搜索引擎之间的关系，Yahoo和AOL网页搜索用)

　　1、元标签优化

　　主要包括标题、网站描述、关键词（关键字）。我们比较关注的是比赛要求的关键词和相关的长尾关键词，还有一些其他的隐藏词如Author（作者）、Category（目录）网站优化服务、Language（编码语言）等这些基本的优化工作非常重要。

　　2、了解搜索引擎如何抓取和索引网页

　　您需要了解搜索引擎如何工作的一些基础知识，搜索引擎之间的差异，搜索如何工作，搜索引擎如何对搜索结果进行排序等。

　　3、如何在网页中选择关键词和放置关键词

　　使用 关键词 完成搜索。关键词分析和选择是SEO中最重要的工作之一。首先确定网站的主要关键词（一般在5个左右），然后对这些关键词进行优化，包括关键词的Density、Relavancy、Prominency等。

　　4、了解各大搜索引擎

　　尽管有成千上万的搜索引擎，但确定网站 流量的只有少数几个。比如英文主要有Google、Inktomi、Altavista等；百度、搜狐等中文。不同的搜索引擎对页面的爬取、索引和排序有不同的规则。还要了解搜索门户和搜索引擎之间的关系，例如使用 Google 的搜索技术的 Yahoo 和 AOL 网络搜索，使用 Looksmart 和 Open Directory 技术的 MSN。

　　5、互联网主目录

　　Yahoo 本身不是一个搜索引擎，而是一个大型 网站 目录，OpenDirectory 也不是。它们与搜索引擎的主要区别在于采集 网站 内容的方式。目录是手动编辑的，主要是收录网站主页；搜索引擎自动采集，抓取除首页外的大量内容页面。

　　6、按点击付费搜索引擎

　　搜索引擎也需要盈利。随着互联网商务越来越成熟，付费搜索引擎也开始流行起来。最典型的就是Overture和百度，当然也包括谷歌的广告项目GoogleAdwords。越来越多的人通过点击搜索引擎网站上的广告来定位业务，还有很多优化和排名知识，你要学会用最少的广告投入获得最多的点击。

　　7、链接交换和链接流行度

　　网页内容以超文本的形式相互链接，网站之间也是如此。除了搜索引擎，人们每天还通过不同网站之间的链接进行冲浪（“冲浪”）。其他网站链接到你的网站的越多，你获得的流量就越多。更重要的是，你的 网站 的外部链接越多，它就越被搜索引擎考虑，这会给你一个更高的排名。所以，你必须花费大量的精力与他人交换链接。[

　　8、搜索引擎登录

　　网站完成后，不要躺在那里等客人从天上掉下来。其他人找到您的最简单方法是提交 网站 到搜索引擎。虽然免费不再是互联网的主流（至少是搜索引擎）——如果你是企业 网站，主要的搜索引擎和目录会要求你付费获得 收录，但好消息是是（至少到目前为止）最大的搜索引擎谷歌目前是免费的，它主导着超过 60% 的搜索市场。