解决方案:XML 网站地图：SEO工具箱中最易被误解的工具

　　解决方案:XML 网站地图：SEO工具箱中最易被误解的工具

　　在我担任 SEO 顾问的这些年里，我发现许多客户对 XML 网站maps 存在重大误解。不可否认，XML网站maps 是一个强大的工具，但与其他此类工具一样，一些相关的培训和此类工具的工作背景知识的普及还有很长的路要走。

　　指数

　　最常见的误解可能是 XML 网站maps 可以帮助您的页面被索引，首先，让我们理解这一点：Google 不会仅仅因为您的要求而索引您的页面。Google 对页面的索引有两个要素：一是他们找到并抓取了该页面；另一个是他们认为该页面质量高且值得索引。向 Google 指出一个页面并要求它对其进行索引并不意味着它会这样做。

　　话虽如此，向 Google Search Console 提交 XML 网站map 仍然是一个重要的步骤，这意味着您要让 Google 知道 XML 网站map 上方的这些页面是高质量的搜索着陆值得被索引的页面。但是，这只是显示页面的重要性，例如从主菜单链接到页面。

　　一致性

　　我在客户中看到的最常见的误解之一是向 Google 发送的关于某个页面的消息不一致。如果您在 robots.txt 中阻止一个页面，同时将该页面放在 XML网站map 上，那您就是在开玩笑。您的 XML 网站 地图将发出“这里！谷歌！这是一个您应该索引的非常有趣且高质量的精品网页”的信号。但是，您的 robots.txt 已经屏蔽了该页面。元机器人也是如此：不要在页面出现在 XML网站 地图上之后设置“noindex,follow”元机器人标签。

　　话虽如此，我将简要介绍一下元机器人。“noindex”表示禁止对该页面进行索引。“Nofollow”的意思是“不关注当前页面设置的外链”，就像冲掉了当前页面上的链接能传下去的所有权重。设置“noindex, nofollow”metarobots 标签的原因多种多样，此处无法一一列举。只能说，如果你想让谷歌不索引你的页面，你可以直接设置“noindex，follow”。

　　好了，闲聊结束！

　　一般来说，你希望网站的每一页都有以下两个桶功能：

　　1. 实用页面（对用户有用，但不是您期望的登陆页面）

　　2. 有趣、高质量的搜索着陆页

　　1号桶中的页面，应该被robots.txt禁止抓取或被“noindex，follow”metarobots标签限制跟踪，不能出现在XML网站地图上。

　　相反，第二桶中的页面不应限制 robots.txt 访问，不应被“noindex”元机器人标签禁止，并且应主要出现在 XML网站 地图上。

　　总体网站质量

　　现在看来，Google 正在对正文 网站 质量采取行动，使用此 网站 范围内的指标来影响搜索排名，我在这里不是在谈论链接权重。

　　从谷歌的角度考虑一下。我们假设您有一个非常完善的页面，其中收录出色的内容，从与熊猫算法的相关性到社交媒体参与度，可以说满足所有标准。但是，如果 Google 找到您的 网站1000+ 页内容，那么只有 5-6 页是此类优质内容。那么，如果谷歌把那些好的页面推送给用户，如果他们也点击了其他不好的页面，他们会有什么样的体验呢？一定有这样的机会，当他们登陆垃圾页面时，客户体验一定很差。谷歌如何将这样的页面推送给客户？

　　谷歌工程师当然知道，每一个网站都会有一定数量的对客户有用的“实用页面”，但不一定是内容页面，可能是搜索的登陆页面：内容分享、评论回复、用户登录、密码找回等页面属于这一类。

　　如果您的 XML网站map 收录所有这些页面，您想向 Google 传达什么信息？或多或少，你还没有弄清楚什么是对你来说好的内容网站，什么不是。

　　这是您要向 Google 展示的图片。是的，我们有 1000 个页面的 网站，其中 475 个页面是高质量页面。您可以忽略其余页面，因为它们是实用程序页面。

　　现在，假设 Google 抓取了这 475 个页面，根据它们的权重，他们得出结论，其中 175 个得分为“A”，200 个得分为“B+”，100 个得分为“B”或“B-”” . 那么整体的平均分很好，很有可能会被视为很好的网站推送给用户。

　　相反，通过 XML网站 映射提交 1000 页 网站。现在，Google 审查了这 1000 个您说质量很高的页面，但发现超过 50% 的评分为“D”或“F”，平均而言，您的 网站 是次等 网站; Google 通常不向用户推荐 网站。

　　容易忽略错误

　　

　　请记住，Google 将使用您提交的 XML网站 地图作为线索来查找您的 网站 重要内容。但 Google 不会因为页面未收录在 XML网站 映射中而忽略它们。您仍然有很多页面在内容和链接方面做得不够，他们的 收录 不会是积极的。

　　做一个网站，很重要：搜索你的网站里所有被谷歌索引的页面，填空，清理谷歌认为低分的页面，设置为“noindex, follow” ” 标签（或归档在 robots.txt 中）。通常，最差但仍被索引的页面将排在 网站: 搜索的最底部。

　　Noindex 和 robots.txt

　　使用 metarobots 标签和使用 robots.txt 防止页面被索引之间有一个重要但微妙的区别。使用元机器人标签“noindex,follow”允许链接传递到该页面，然后传递到该页面链接到的其他页面。如果您使用 robots.txt 标记阻止网页抓取，您就是在将其冲入马桶。

　　在上面的例子中，我阻止的不是真实页面，那些是跟踪脚本，所以我没有减轻链接权重，因为这些页面没有带有菜单链接等的标题。

　　爬取带宽管理

　　你什么时候会使用 robots.txt 协议？也许当您遇到抓取带宽问题并且 Google 机器人花费大量时间获取实用程序页面时，但只发布“noindex，follow”标签并且不得不反弹。当您发现 Google 漫游器无法访问您的重要页面时，您必须通过 robots.txt 协议阻止访问。

　　我见过许多客户通过清理他们的 XML网站 地图和禁用索引实用程序页面来提升搜索排名。

　　我真的每天有 6000 到 20000 个页面需要爬取吗？或者谷歌机器人会跟踪“回复评论”或“通过电子邮件分享”网址吗？

　　供您参考，如果您有一组核心页面并且其内容定期更改（如博客、新产品或产品类别页面），或者如果您有很多页面（如独立产品页面），如果质量好，谷歌会将它们编入索引，否则，你将面临核心页面不被重新抓取和索引的情况，你可以在 XML网站 地图上提交核心页面，给谷歌一个线索，这些页面应该是你认为更重要的页面比其他未被阻止但不在 网站 地图上的页面。

　　调试索引问题

　　这就是 XML网站maps 对 SEO 有用的地方：当您向 Google 提交一批页面进行索引时，但只有其中一些被索引。谷歌搜索工具不会告诉你他们索引了哪些页面，只是一个 XML网站 数据，地图整体被索引。

　　假设您是电子商务网站，您有 100,000 个产品页面、5,000 个类别页面和 20,000 个子类别页面。您在 XML网站 地图中提交了 125,000 个页面，您发现 Google 索引了其中的 87,000 个页面，但是哪 87,000 个页面？

　　首先，您的类别和子类别页面可能是您的重要搜索目标。我将创建一个category-sitemap.xml（通用类图网站）和subcategory-sitemap.xml（子类图网站）并分别提交。您将看到近 100% 的索引率。如果您不这样做，那么您应该知道如何为您的页面创建更多内容或增加其链接权限，或两者兼而有之。您会发现诸如产品类别或子类别之类的页面未编入索引，因为它们只有一种产品（或没有产品）。在这种情况下，您可能希望在页面上设置“noindex,follow”标签以从 XML网站 映射中选择它们。

　　问题可能出在这 100,000 个产品页面上，但哪些？?

　　首先做一个假设，然后将产品页面拆分为不同的 XML网站 映射来测试这些假设。可以同时做多组实验，一个URL同时出现在多个网站地图上是没有问题的。

　　您可以从以下 3 个理论开始：

　　1. 没有产品图片的页面不能被索引

　　2.描述少于200字的页面不能被索引

　　

　　3. 没有评论/评论的页面不能被索引

　　创建一个收录一系列有意义页面的 XML网站 映射，并将这些页面分组到不同的类别中。不必将所有页面分配给类别，只要样本大小足够合理，可以对它们进行索引。例如，您可以为每个类别制作 100 页。

　　在这里，您的目标是，对于任何给定的 网站 地图，使用整体索引百分比分析来确定使页面 收录 或不是 收录 的因素。

　　知道问题后，您可以修改页面内容（或页面链接）或禁用页面索引。例如，在您的 100,000 个产品页面中，可能有 20,000 个页面的产品描述少于 50 个字。如果这些不是高流量词，并且您正在从制造商那里找到产品描述，那么尝试为这 20,000 个产品页面手动编写 200 个词的描述可能不值得。您可能想为这些少于 50 字的产品描述页面设置“noindex, follow”标签，因为 Google 无论如何都不会对它们进行索引，它们只会降低您的整体 网站 质量排名。另外，不要忘记从 XML网站map 中清除这些页面。

　　动态 XML网站映射

　　现在，您在想“很好，Michael。但现在我要手动保持我所有 100,000 个页面的 XML网站地图和元机器人同步”，这是不可能的！

　　但是，实际上没有必要手动执行此操作。XML网站地图不能是静态文件。事实上，他们甚至不需要 XML 扩展来将它们提交到 Google Webmaster Tools。

　　相反，为页面设置规则逻辑，无论该页面是否收录在 XML网站 映射中，并使用相同的逻辑设置 meta robots 标签索引或不索引整个页面本身。这样，当制造商提供的产品描述从 42 个字变成 215 个字时，你的 网站 的这个页面会神奇地出现在 XML网站 地图上，并让 meta robots 标签设置为“索引，跟随”。

　　在我的游览 网站 中，我对一系列不同的页面进行了上述操作。我会为这些页面使用传统的 ASP。

　　当这些 网站 地图被爬取时，服务器密码输出 XML 而不是呈现 HTML 页面。这会迭代来自其中一个数据库表的一组记录，并根据特定标准分别输出一个数据。

　　视频网站地图

　　那么那些烦人的视频 XML网站maps 呢？他们太落伍了！Wistia 根本不用费心去重现它们，您可以使用 JSON-LD 并使用 /VideoObject 标记页面。

　　结语

　　1.保持一致——如果页面已经被robots.txt协议或者“noindex”标签屏蔽了，最好不要出现在你的XML网站map中。

　　2. 使用您的 XML网站map 作为侦察工具来查找和清除索引问题，并且只请求 Google收录Google 将索引的那些页面。

　　3. 如果您有一个大型站点，请使用动态 XML网站maps----不要尝试手动使这些与 robots.txt、meta robots 和 XML网站maps 保持同步。

　　【关于作者】

　　Senny，英语专业学士，英语语言学学士。有外贸销售、客户采购陪同翻译等国际业务工作经验，目前从事跨境电商行业、平台运营与推广等工作。

　　【关于网络营销官CMO】

　　互联网营销官CMO是一个非营利组织，致力于打造互联网营销领域人才交流和讨论的领先平台。

　　为未来的互联网营销官和CMO提供互联网营销行业最新最前沿的营销干货和行业资讯，涵盖SEO、SEM、PPC、网络联盟营销、EDM营销、网红营销、大数据营销、场景网络营销领域的营销。、O2O营销、事件营销、病毒式营销、口碑营销等多种互联网营销方式和手段。

　　iOS用户专属二维码：

　　解决方案:帝国cms仿QQjay空间站源码带采集规则

　　可以用来做QQ头像网，免费开源发布。

　　安装注意事项：

　　1. Empirecms普通安装/e/install/

　　2.登录后台恢复数据库，恢复账号后再次登录：92game密码：

　　3.列>其他相关>用客户域批量替换字段值[titlepic]

　　

　　将名称 /d/[newstext] 替换为客户域名 /d/

　　4.后台基本配置，扩展变量，

　　5.更新所有缓存，生成自定义页面、自定义示例表、主题、栏目、内容页、首页

　　6》，配置手机版，手机域名绑定目录m”

　　7.修改手机版配置文件/m/confog/config.php 数据库信息

　　

　　8.登录后，手机版后台：更新所有缓存，生成自定义页面，自定义示例表，主题，栏目，内容页面，首页

　　请按照上述步骤操作，否则可能无法正常工作。演示站：

　　下载链接：

　　35 采集 规则：