第5章网站结构优化SEO搜索引擎优化：基础、案例与实战目录

　　第5章网站结构优化SEO搜索引擎优化：基础、案例与实战目录

　　第五章网站Structural Optimization SEO搜索引擎优化：基础、案例和实用内容5.1 搜索引擎友好网站设计5.2 网站物理结构类型和优化5.3 网站链接结构优化5.4 避免“蜘蛛陷阱”5.5 限制爬取范围5.6 设置网站Map5.7 URL优化5.8 404 page5.9 培训在此chapter5.1.1 解决网络蜘蛛能否找到网页的问题 解决网络蜘蛛能否找到网页的问题，需要从以下四个方面着手。要有外链，要有好的内部结构网站，要有网站首页的外链，这样搜索蜘蛛才能沿着这些外链找到网站home。网络蜘蛛找到​​网站的主页后，还需要寻找更深层次的页面，这就需要网站具有良好的、合乎逻辑的内部结构。 网站Map在网站中的页面之间必须有良好的链接结构，每个页面之间必须有良好的链接结构。 网站 中的所有页面都必须能够从主页开始，并在 4 次点击中找到链接。 网站需要有一个网站地图，添加所有重要的栏目和网页，这样网络蜘蛛就可以从网站map到达这些页面。 5.1.2 解决网络蜘蛛能否抓取网页内容的问题解决网络蜘蛛能否抓取网页内容的问题，需要从以下两个方面入手。 网站有些页面不需要收录搜索，比如一些不太重要的页面，需要会员访问的页面，网站后台管理页面等

　　这时候可以使用robots.txt文件或者nofollow标签属性来限制网络蜘蛛的爬行范围。这样不仅可以提高网络蜘蛛的爬行效率，还可以防止权重分散。蜘蛛陷阱是一些阻碍网络蜘蛛爬行的网页制作技术，如Flash、框架结构、动态网址等。当网页中存在这些蜘蛛陷阱时，会严重影响网络蜘蛛的抓取效率和范围，降低网页的收录率。限制爬取范围，避免蜘蛛陷阱5.1.3 解决如何提取有用信息的问题 网页被网络蜘蛛爬取后，还需要解决如何提取更多有用信息的问题有效。下面两个继续。优化网页代码的合理布局关键词 制作CSS样式信息、JavaScript脚本等*敏*感*词*5.6 设置网站Map5.7 URL优化5.8 404 page5.9 本章练习训练5.2.1 Flat网站structural flat网站结构指网站的所有页面都存放在根目录下。

　　网站采用这种结构，网络蜘蛛爬取效率高，网站中的所有页面只需访问一次即可遍历，有利于网站的检索和排名。扁平的网站结构更适合简单小巧的网站。这是因为网站 的网页数量比较多。如果网站root目录下存放大量网页文件，会使整个网站难以管理，搜索和维护工作也会很麻烦，容易造成混乱。扁平网站结构5.2.2 树网站结构树形网站结构是指将网站中的网页文件按照类别和隶属关系保存到不同的文件夹和子文件夹中。树网站结构类别层次清晰，识别度高，易于管理和维护。如图所示为树形网站结构，适用于内容类别多、容量大的综合性网站。 5.2.2 树网站结构 随着树网站结构层次的增加，网络蜘蛛的爬行速度会降低；而过于密集的网站结构也会导致网站混乱和复杂的链接严重影响网络蜘蛛的爬行效率。因此，树网站结构的优化非常重要。树形结构网站的文件夹结构有很多不同的层次，如图。优化的时候，需要针对不同的层次进行优化。 Contents5.1 搜索引擎友好网站设计5.2 网站物理结构类型和优化5.3 网站link 结构优化5.4 避免“蜘蛛陷阱”5.5 限制爬取范围5.6 设置网站Map5.7 URL优化5.8 404页面5.9 本章训练5.3 网站link结构优化链接结构，也称逻辑结构，它是网站中页面之间链接形成的网络结构。

　　链接结构优化的基本要求是要有层次。一般情况下，页面之间的级别不应超过3级。上图为内部链接结构*敏*感*词*。这样的交叉链接结构一方面有助于引导和扩展物理蜘蛛的爬行，增加网站被收录的页数；另一方面可以引导用户浏览网站中的其他页面，增加用户在网站中的停留时间和访问深度。 Contents5.1 搜索引擎友好网站设计5.2 网站物理结构类型和优化5.3 网站link 结构优化5.4 避免“蜘蛛陷阱”5.5 限制爬取范围5.6 设置网站Map5.7 URL优化5.8 404 page5.9 本章培训5.4.1 Flash 很多网页设计师喜欢用Flash进行生产网站主页、导航甚至整个网站。使用Flash可以做出很多很酷的*敏*感*词*效果，用来展示公司的产品、实力、文化和服务理念。但是，Flash*敏*感*词*是一个蜘蛛陷阱，因为网络蜘蛛既不能通过阅读Flash中的文字来理解内容，也无法抓取Flash中的链接访问网站中的其他页面。并且随着HTML5网页制作技术的发展，Flash已经逐渐被淘汰，很多浏览器的最新版本已经不再支持Flash了。因此，在创建网页特效和交互时，应选择 HTML5 而不是 Falsh。

　　5.4.2 Session ID服务器会为网站的每个用户分配一个唯一的Session ID，以区分不同的用户。有些网站会在网页的URL中添加一个Session ID进行跟踪，以便分析一些用户信息。网络蜘蛛每次在网站页面上爬行，都会被视为一个新用户，每次访问的URL中都会生成不同的会话ID，从而导致页面相同但URL不同。这样搜索引擎就会认为网站中存在大量重复内容，从而减少网络蜘蛛的爬行。 5.4.3 动态网址 动态网址是指网页的网址是动态生成的，收录很多符号或网址参数。虽然随着搜索引擎技术的发展，网络蜘蛛抓取带有动态网址的网页已经不是问题，但是参数过多的动态网址不利于网络蜘蛛抓取，因此需要将动态网址转换为静态网址。 . 5.4.4 各种跳转有些网站会用到很多跳转，比如JavaScript跳转、MetaRefresh跳转、Flash跳转、302跳转等。设置跳转后，用户在打开网页时会自动跳转到其他页面，但任何跳转都会在一定程度上给网络蜘蛛的抓取带来障碍，有欺骗用户和搜索引擎的嫌疑。如果一定要使用跳转，建议使用301永久跳转，可以传递权重。其他跳转方式不推荐。

　　5.4.5 帧结构在网站的早期，帧结构被广泛使用。这是因为框架结构方便了网站页面的维护。随着各大cms系统（内容管理系统）的发展和问世，网站的维护变得越来越容易。因此，框架结构在很多网站中很少使用。另*敏*感*词*5.6 设置网站Map5.7 URL优化5.8 404 page5.9 本章训练5.5.1 robots.txt文件的结构在robots.txt中。 txt文件，中间通常以一行或多行User-agent开头，后面跟着几行Disallow和Allow，最后是Sitemap行，如图中的代码。代码含义如下： User-agent：此项的值用于描述网络蜘蛛的名称。 Disallow：此项的值用于描述您不想访问的 URL。 Allow：此项的值用于描述您要访问的URL。与 Disallow 项一样，它可以是完整路径。 *通配符：代表任意长度的字符。 ＄结束符：表示URL的结束符，后面没有任何字符。

　　Sitemap：代表网站地图文件的URL，网络蜘蛛会根据URL找到网站地图文件。 5.5.2 使用工具生成robots.txt文件。手动编写robots.txt文件比较复杂，可以使用一些工具自动生成文件。具体操作如下。 2 “Robots 文件生成”页面 1 点击“robots.txt 文件生成”超链接5.5.2 使用工具生成robots.txt 文件 3 生成robots.txt 文件内容目录 Contents5.1 搜索引擎友好网站设计5.2 网站物理结构类型和优化5.3 网站link结构优化5.4 避免“蜘蛛陷阱”5.5 限制爬取范围5.6 settings网站 Map5.7 URL优化5.8 404 page5.9 本章训练5.6 设置网站Map网站根据网站的结构、框架、内容生成地图k14@导航文件是网站中所有链接的容器。 网站的很多链接都比较深，网络蜘蛛很难全部抓取，而网站Map可以引导网络蜘蛛抓取网站中难以抓取的网页。 网站地图名称为Sitemap，一般存放在网站的根目录下，其格式如下。 XML格式，TXT格式，HTML格式，百度推荐HTML格式网站Map，雅虎推荐TXT格式网站Map，Google推荐XML格式网站Map5.6 设置网站Map手动制作网站地图很麻烦。这时候可以使用一些工具自动生成网站地图文件。

　　具体操作如下。 1 添加项目 2 “基本信息”选项卡 5.6 设置 网站Map 3 “XML 设置”选项卡 4 “机器人设置”选项卡 5.6 设置 网站Map 5 在链接中抓取 网站 6 生成站点地图文件5.6 设置网站Map 7 生成的文件目录 Contents5.1 搜索引擎友好网站设计5.2 网站物理结构类型和优化5.3 网站link structure optimization5.4避免“蜘蛛陷阱”5.5限制爬取范围5.6设置网站Map5.7 URL优化5.8 404 page5.9本章训练5.7. 1 URL 静态 1. 静态URL 和动态URL 的区别静态URL 是直接以网页文件名或文件夹名结尾的URL，如×××.com/news/。并且动态网址会在网页文件名后添加很多参数，其中会收录“？”等特殊符号。 "=" "&" "%"，如 ×××.com/news/index.html?datenewsid=321 。静态网址和动态网址除了形式上的不同外，对应的网页生成方式也不同。静态URL网页内容是固定的，不会动态变化；而动态 URL 网页中的内容会根据不同的参数动态变化。生成网页内容。 5.7.1 URL 静态化 2. 动态 URL 对网络蜘蛛的影响 动态 URL 对网络蜘蛛的爬行有影响，主要表现为使网络蜘蛛陷入无限循环，使网络蜘蛛抓取大量重复内容。

　　最典型的让网络蜘蛛陷入无限循环的无限循环是万年历。如果网络蜘蛛一直跟踪万年历的链接，就会一直生成年、月、日等不同参数值的URL，无休无止，导致网络蜘蛛陷入无限循环。动态 URL 可能会导致大量重复页面。比如下面3个网址只是参数顺序不同，内容都是编号为159的蓝裙，但对于网络蜘蛛来说，这是3个不同的网页。重复爬取会降低网站页面的收录效率，从而影响页面的收录和排名。使网络蜘蛛抓取大量重复的内容5.7.1 URL 静态 3. 如何使 URL 静态 URL 静态最常用的方法是使用服务器的 URL Rewrite 功能将动态 URL 转换为静态 URL，这样用户和搜索引擎访问的是静态网址，而原来的动态网址是在服务器端访问的。 具体操作如下。 1 双击“URL 重写”按钮5.7.1 URL 静态化 3. 如何使URL 静态化 2 编辑入站规则5.7.2 URL 标准化 1. URL 不规则的原因 有很多原因不规则网址，主要有以下8种情况。是否包括www.它是否包括默认网页。它是否在文件名末尾收录斜杠。 URL 是否具有收录跟踪代码网站program 的端口号。 URL 静态设置错误的原因5.7.2 URL 标准化 2. 不规则URL 的危害网站 虽然多个不规则URL 不会给用户访问网页带来任何麻烦，但这些不规则URL 会影响收录搜索引擎，主要表现在以下5个方面。

　　会分散页面的权重，不利于排名。对于搜索引擎来说，这是一种资源和宽带的浪费。搜索引擎收录的网址可能不是最合适的网址。一个网站可以为收录的页面总数和网络蜘蛛的总爬行时间是有限的。如果非标准网址过多，会影响网站页面的收录数量。重复页面太多，搜索引擎可能会认为有作弊嫌疑。 5.7.2 URL标准化 三、如何解决不规则URL 解决不规则URL的方法主要有以下4点。 0102 所有内部链接必须统一，指向标准化的URL。如果确定带www的网址为标准化网址，则网站的所有内部链接必须统一使用带www的网址。更新旧的网站时，需要使用301跳转，将旧的不规则网址重定向到新的规范网址，也可以把原来的权重传过来。 0304使用canonical标签告诉搜索引擎哪个URL是canonical URL，让搜索引擎只收录这个URL，避免输出重复的内容。选择cms系统时，一定要选择不生成不规则网址的cms系统。 5.7.3 设置301重定向 301又称为301重定向，是一项非常重要的自动重定向技术。设置301重定向后，当用户或网络蜘蛛向网站服务器发送访问请求时，服务器返回的HTTP数据流头部状态码为301，表示该URL永久转入另一个网址。

　　根据网站服务器和使用的服务器端脚本程序的不同，301跳转的设置方法不同，将单独说明。 5.7.3 设置301跳转 1.在IIS7.0服务器设置301重定向。在IIS7.0服务器中，可以使用“HTTP重定向”设置301重定向。具体操作如下。 1 双击“HTTP 重定向”按钮 2 设置 301 重定向5.7.3 设置 301 重定向 2. 设置 Apache 服务器中的 301 跳转 Apache 服务器中有一个 .htaccess 文件，很多设置包括在这个文件中可以对Apache服务器进行301跳转。要将域名×××重定向到×××，只需在.htaccess文件中输入以下代码即可。 5.7.3 设置301跳转 3.在服务器脚本程序中设置301跳转 除了在服务器设置301跳转外，还可以使用服务器脚本程序设置301跳转。您只需要在主页文件中添加相应的代码即可。 ASP：在首页文件顶部添加以下代码 PHP：在首页文件顶部添加以下代码5.7.3 设置301跳转 3.在服务器脚本中设置301跳转JSP：在主页文件的顶部添加以下代码。 net：在首页文件顶部添加以下代码5.7.4 对一组内容完全相同或高度相似的网页使用canonical标签属性，Canonical标签属性可以告诉搜索引擎哪个页面是标准网页，从而避免搜索结果中出现多个具有相同或相似内容的页面。

　　同时还可以增加标准化网页的权重，优化标准化网页的排名。例如，有3个网页显示相同款式的连衣裙，内容完全相同，但颜色不同，其网址如下。 5.7.4 如果不处理canonical tag属性，搜索引擎会收录很多重复的内容。这时候，如果要将01行的URL作为规范URL，只需要放在另*敏*感*词*5.6 设置网站Map5.7 URL优化5.8 404页面5.9 本章训练5. 8 404页面当用户访问网站上不存在的页面时, 服务器会返回 404 错误。如果SEO人员没有在服务器端设置自定义404页面，用户浏览器中会显示默认的错误页面。 IIS服务器默认404页面5.8 要使用404页面自定义404页面功能，必须先创建一个404页面web文件。

　　制作404页面时，需要注意以下3点。 404页面和整个网站模板、设计风格、logo、名称要统一风格。明确显示错误信息 404页面应该在最显眼的位置显示错误信息，明确提醒用户要访问的页面不存在。提供跳转到其他页面的功能。一些超链接或按钮可以添加到 404 页面。点击后，用户可以进入网站首页、重要分类页面或推荐用户访问的页面，还可以添加站点搜索框。 5.8 404页面制作一个404页面上传到服务器，然后在服务器中进行相应的设置，实现自定义404页面的功能。具体操作如下。 1 双击“错误页面”按钮 2 设置 404 页面目录 Contents5.1 搜索引擎友好 网站设计5.2 网站物理结构类型和优化5.3 网站link 结构优化5.4 避免“蜘蛛陷阱” 5.5 限制爬取范围 5.6 设置网站Map5.7 URL 优化 5.8 404 页 5.9 本章培训5.9 本章节训练本章主要讲解网站结构优化的相关知识，包括优化网站素材结构，避免使用收录蜘蛛陷阱的技术，告诉搜索引擎哪些内容可以爬取，以及URL优化。本章的训练将练习robots.txt文件的制作。培训需要使用robots生成工具生成robots.txt文件，并要求所有搜索引擎不要抓取“admin”、“data”、“js”、“css”文件夹中的所有文件。 网站Map 网址是“*** .com/sitemap.xml”。

　　并将“item.asp?id=5&color=red”形式的动态URL转换为“item/5/red/”形式的静态URL。 5.9 本章训练和训练的步骤 1 Robots 文件生成 2 robots 文件的内容生成 5.9 本章训练 3 设置 URL 静态学习提高 SEO 搜索引擎优化：基础、案例和实战网站root 目录级文件夹 ├─ index.html ├─ robots.txt├─ .htaccess ├─ sitemap.xml├─ favicon.ico ├ admin│├─ function│└─ installs├ 包括二级文件夹│├ ─ images│├─ css 三级文件夹│└─ js├ 内容│├─产品│└─新闻├ 日志文件内容页4 内容页3 内容页2 内容页1 栏目页2 主页栏目页1