网站内容抓取(处理过期列表的最佳方法是什么？如何管理过期内容)

　　网站内容抓取(处理过期列表的最佳方法是什么？如何管理过期内容)

　　介绍

　　对于任何负责动态 网站 的 SEO，无论是电子商务、类别（例如：求职、房地产列表）还是季节性/促销（例如：纽约市），处理过时的内容都可能是一种压倒性的体验网站 的时尚）周）'。即使在 Google 网站Admin Tools 帐户中导航一些基本的网站 也会引起痛苦的情绪，尤其是如果 网站 已经累积了数十万个 404 错误。你应该想出一个流程来管理这个吗？这个过程应该是什么，甚至它看起来像什么？

　　什么是过期内容？

　　有许多被认为是“过期”的例子。过期内容仅在有限的时间内相关网站。以下是需要被视为过期内容的不同场景的示例。

　　求职/房地产信息：定期发布职位列表，尤其是在职位已满时。出售房地产时也是如此。

　　处理过期列表的最佳方式是什么，尤其是在内容仅在非常有限的时间内可用的情况下？

　　电子商务：当产品频繁更换或其他原因时，过期产品可以在网站上销售，例如：

　　当 网站 不再销售产品时会发生什么？

　　如果产品暂时缺货怎么办？

　　今年有哪些季节性商品限时发售？

　　也许最重要的是，关注过时内容的 网站 往往很大——通常收录数十万页。因此，建议需要管理和明确。亲自查看所有过期的库存产品是不切实际的。开始思考，我们有没有办法为这些类型的变化建立一个流程？

　　（选项）

　　最喜欢的 SEO 解决方案，但不一定是正确的答案。我们需要根据每个人的具体情况，考虑网站当前的后端，以及网站团队的资源和技术能力。使用的每个选项都有过期内容的时间和地点。为每种情况确定正确的情况是非常强大的。

　　404错误

　　网站管理员对带有过时内容的 网站 采取的方法是有道理的。毕竟是 404 页面定义，不是吗？

　　（蒸馏水，第 404 页）

　　在大多数情况下，网站 上的页面不应该。为什么？

　　404页的缺点

　　网站 上曾经存在的页面对 SEO 不利，因为它会提醒搜索引擎 网站 上存在错误。从本质上讲，您的 网站 抓取配额是对不再存在的已抓取/索引页面的浪费。

　　404 页面的另一个问题是它们往往会跳出——用户登陆该页面，看到该页面不再存在，然后迅速离开。用户的 网站，我们作为 SEO 的目标，不仅对确保 网站 获得自然流量至关重要，而且对用户花费、浏览 网站 并最终转化的时间至关重要。

　　自定义 404 页面

　　如果您必须在 404 页面上或出于其他原因，请考虑创建自定义 403 页面，以便访问者在页面上的机会，他们有机会转换。自定义 404 页面还可以收录指向其他 网站 页面的关键字丰富的链接（例如：crate 和 bucket 404 页面）。

　　识别过期内容的正确方法

　　既然我们知道了页面的缺点，那么处理过期内容的正确方法是什么？为了确定这一点，需要考虑几个因素，例如：

　　这个页面是否有很多流量（不是自然的，但也可以考虑直接流量）？我们如何提供最佳的用户体验？此页面已收到外部链接？这个页面上的内部链接怎么样？内容/资源会出现在用户仍然觉得有用的页面上吗？二、301 永久重定向

　　301重定向的优势

　　对于绝大多数情况，我建议 301 将过期内容重定向到另一个页面。这通常是 SEO 的最佳选择，也可以使用动态生成的消息进行自定义以增强用户体验。例如，如果产品页面有外部链接，您可以从这些链接进行 301 重定向（以及 404，对丢失链接的公平性），保留大部分链接权益。为什么你会失去你努力获得股权的链接？此外，它表明您的 网站 对搜索引擎来说是“新鲜的”，维护良好并且是最新的。

　　您应该在哪里进行 301 重定向页面？

　　考虑什么是最好的用户体验。您希望将这些页面重定向到最相关的页面。一种建议是根据 网站 的内部导航查看面包和重定向页面。例如，可以将产品页面重定向到最相关的子类别页面。您必须小心您的页面重定向到在可预见的将来可能会停留在 网站 上的另一个页面，否则，您可能会重新解决问题（更不用说，有一个 301 重定向会导致另一个 A 301 重定向）像 301 重定向到另一个被认为是不好的 SEO 做法）。一个安全的选择是重定向最相关的类别页面，因为 网站 上的这些页面最有可能发生变化。

　　动态生成的消息

　　您可以通过 301 重定向实现动态生成的消息，以自定义和改善用户体验。这将导致用户在收到一条消息后登录，让他们知道他们正在寻找的产品不再过期。这增强了用户体验，因为它通知用户他们被重定向的原因。

　　301重定向的缺点

　　对于某些 网站 来说，实现多个 301 重定向可能会影响服务器性能（尽管使用精心设计的 网站 这应该不是问题）。但是，如果您的 网站 确实如此，知道 网站 速度是搜索引擎排名因素，我们希望警惕通过实施此策略可以实现的目标。如果您的 网站 是这种情况，请仅考虑已收到外部链接或已收到大量流量的 301 重定向页面，并将其余页面定向到自定义 404 页面。请记住，这不是理想的情况，只是一种解决方法。

　　三、在 网站 上创建页面

　　左页是优势

　　有时，产品页面仍然会吸引大量流量、丰富的独特内容以及对访问者仍然有用的信息。保留原创产品是值得的，特别是如果页*敏*感*词*有独特、高质量、常青的内容，但有消息称该产品已停产。这可能会提供最佳的用户体验，因为它提供了强烈的行动号召。

　　如何设置消息？

　　实施已停产并推动用户使用这些新产品的 JS 覆盖将包括类似的产品。考虑使用以关键字为目标的内部链接将流量吸引到这些 网站。这提供了出色的用户体验，对于回头客尤其重要。

　　例如：房地产

　　对于这个利基市场，过期的listing会带来大量的流量，因为每个人都对市场上出售的东西感到好奇。因此，请考虑将这些页面留在 网站 上，但还要在页面顶部添加其他信息，例如“联系我们以获取类似信息”或“这里是该地区其他一些价格相似的房屋”。"

　　离开页面的缺点是

　　您要小心保留旧的页面实践，尤其是如果它们不会为 网站 增加价值。为什么？由于这将需要来自搜索引擎机器人的更多带宽来抓取您的 网站，因此您继续将新产品页面添加到您的 网站。您不想浪费您的检索余量并冒险让机器人爬网，减少独特的内容和价值。此外，搜索引擎会抓取此类页面以显示该站点不是“新鲜的”。

　　很多时候，新产品收录的内容与产品的重大变化相同。例如，新产品的名称可能与以前的版本略有不同，产品描述可能几乎重复。将所有这些页面放在 网站 上可能会导致出现大量重复内容的问题。

　　如何处理库存产品

　　如果产品有库存并且预计会补货，则此页面应保留在 网站 上，但应在页面上实施库存通知。但是，请记住，股票页面往往会产生高跳出率。为了应对高跳出率并改善整体用户体验，请确保用户了解在 网站 上仍在销售的类似产品，或者在用户再次登录到可用产品时收到通知。

　　如何处理季节性产品 - 类别/子类别级别

　　如果产品是季节性产品，例如时尚产品（例如：泳装），您可能希望永久离开 网站 上的页面。为什么？由于超时，这些页面可以在以后保留其链接权益。如果你今年有一个泳装页面有3个链接，你可以继续为接下来的5个链接积累这些链接。随着时间的推移，您开发的页面保留了重要的链接资产，使竞争对手更难跟上。所以给你的 网站 一个巨大的优势。

　　如果您不希望在淡季期间将该页面编入索引，请将元标记添加到 /the 页面。用户将不再能够从搜索结果（希望是内部结果）中获取链接，而只能通过直接链接或书签。一旦赛季重新开始，删除/关注索引/关注元标记。

　　构建流程/检查

　　这将帮助您的技术团队根据您的网站 特定需求制定一份清单。例如，如果我的 网站 有季节性产品，我将编制一份清单：

　　在 [product] 页面中删除/标记 [month] 更新并重新提交 XML 站点地图“抓取喜欢” 在 网站Admin Tools 中提交此页面

　　考虑创建一个单独的步骤列表，您需要作为 SEO 来确定哪些页面、301 重定向、404（如果您这样做）以及要离开哪些页面。该清单还应该为您的技术团队将如何实施这些更改以帮助开发创建一个框架。一段时间后，您的 网站 如何处理过期内容应该会有一个整体框架，这将有助于使整个过程运行得更加顺畅。