搜索引擎如何抓取网页(大部分采用CSS+DIV布局网站采用的网页采用布局)

　　搜索引擎如何抓取网页(大部分采用CSS+DIV布局网站采用的网页采用布局)

　　1.网站 页面的静态处理

　　动态页面由程序生成静态页面。由于静态页面的存在，省略了动态解析过程，从而提高了页面的访问速度、稳定性和安全性，优化效果非常明显。目前大部分cms系统都实现了静态URL，一些论坛程序也可以使用MVC三层架构通过Rewrite技术实现伪静态URL。URLRewrite 方法具有鲜明的特点。因为是服务器内部解析的地址，内容实时更新，不存在文件管理和硬件问题，维护更方便。服务器级别的 URLRewrite 重写技术不会影响页面的执行速度。如果您可以实现自定义 URL 生成规则，

　　2.使用 CSS+DIV 布局网站

　　使用 CSS+DIV 的网页比用 Table 编写的页面更适合 SEO。对于基于内容的cms系统，使用CSS+DIV排版的网页可以将文章的内容放在Html代码中较高的位置，让搜索引擎蜘蛛快速找到需要的内容. 而且考虑到网页浏览的速度，CSS+DIV重构的页面容量远小于Table编码的页面容量，前者一般只有后者大小的1/2。使用DIV+CSS布局，简化页面代码，让蜘蛛程序高效索引整个站点。

　　减少代码有两个直接的好处：

　　一是提高搜索引擎蜘蛛的爬取效率，可以在最短的时间内爬取整个页面，有利于收录的质量；

　　其次，因为可以高效爬取，所以会被搜索引擎蜘蛛点赞，有利于收录的数量。

　　3.支持标签优化标签优化

　　指对Title、Keywords、Deion的优化。cms系统应允许客户在后台输入自定义网页标题标签TitleTag、关键词标签KeywordsTag和描述标签DeionTag。对于较大的网站，用户很难自定义每个网页的标题、关键词和描述标签。但至少首页和频道首页应该允许用户自定义，对于更深层次的产品页面，可以给用户两种选择，要么自定义，要么自动从产品名称和描述中提取。

　　需要注意的是，每个网页的标题、关键词和描述标签应该是不同的。不要使一个频道中的所有网页标题都相同。

　　4.优化文章页面的Keyword和Deion内容

　　这里提到的Keyword和Deion与第三项不同。这里主要指文章页面的Keyword和Deion。最好的办法是根据文章发布时生成的TAG自动生成关键词，Keyword部分可以直接调用具体文章的关键词。

　　描述可以自动截取每个文章正文的前100个汉字，放入Deion。这样文章Keyword和Deion就可以很好的结合起来，大大提高了内容的相关性。

　　5.SessionID的生成

　　很多电商网站会自动为所有访问者生成SessionID，这也是非常不可取的。因为搜索引擎蜘蛛每次来都会得到不同的SessionID，所以同一个页面会产生多个URL，导致内容页面重复。如有必要，应在客户端登录后生成 SessionID。对于未登录的一般访问，无需生成 SessionID。

　　6.使用外部 Java 和 CSS 文件

　　不管是cms系统生成的网站，还是普通的网站，一个常见的错误是把Java和CSS放在网页的最前面，把真实的内容推送到非常顶级。之后。

　　在实践中，使用外部 Java 和 CSS 文件可以提高页面速度，因为 Java 和 CSS 文件都缓存在浏览器中，在不增加 HTTP 请求数量的情况下减小 HTML 文档的大小。HTML 文档中内置的 Java 和 CSS 将在每​​次请求中与 HTML 文档一起重新下载，这减少了 HTTP 请求的数量但增加了 HTML 文档的大小。

　　7.创建帖子导航

　　即在每个主题的具体帖子下方出现与内容相关的帖子导航。

　　一种方法是为文章创建多个关键词，并在文章的内容下列出，当用户点击这些关键词时，会自动进入关键词 的搜索页面。第二种方式是在文章的内容下提供相关文章的列表，自定义规则，显示规则，比如哪个关键词，是按相关性显示还是按时间显示等. ，在内容页面显示该分类下的TOP10、recommended文章，并创建一个随机的内容区显示该分类下的文章。

　　8.生成 XML 格式网站映射

　　网站地图一直被人们津津乐道，但是很多cms系统只有生成HTML格式地图的功能网站，却没有生成XML地图的功能格式网站。

　　事实上，HTML 格式是供 网站 查看者使用的，而 XML 是供搜索引擎抓取的。因此，cms系统不仅要能够根据设置的列名和逻辑结构自动生成HTML格式的网站映射，还要能够生成XML格式的网站映射。格式，并能够生成实时 网站 地图。更新，然后自动将 XML 映射提交给搜索引擎 网站。