网站内容抓取(如何在web主机上强制重定向？文件中的做法)

　　网站内容抓取(如何在web主机上强制重定向？文件中的做法)

　　正确的做法是：一个重定向到另一个，而不是两者。如果同时加载两者，则站点的版本安全性存在问题。如果您在浏览器中输入网站的URL，请测试和。

　　如果同时加载了两个 URL，则会显示两个版本的内容，并且重复的 URL 可能会导致重复的内容。

　　为确保您不再遇到此问题，您需要执行以下操作之一，具体取决于站点的平台：

　　在 HTACCESS 中创建一个完整的重定向模式（在 Apache/CPanel 服务器上）；

　　使用 WordPress 中的重定向插件强制从属重定向。

　　4、如何在 htaccess 中为 Apache/Cpanel 服务器创建重定向

　　您可以在 Apache/CPanel 服务器的 .htaccess 中执行服务器级全局重定向。Inmotionhosting 有一个很棒的教程，介绍如何在您自己的网络主机上强制重定向。

　　要强制所有网络流量使用 HTTPS，您需要使用以下代码。

　　确保将此代码添加到具有相似前缀（RewriteEngine On、RewriteCond 等）的代码之上。

　　重写引擎开启

　　RewriteCond %{HTTPS}!on

　　RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$

　　RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\Comodo\\DCV)?$

　　重写规则 (.*) %{HTTP_HOST}%{REQUEST_URI} [L,R=301]

　　如果只想重定向指定的域，则需要在 htaccess 文件中使用以下代码行：

　　RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$

　　RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\Comodo\\DCV)?$

　　重写引擎开启

　　RewriteCond %{HTTP_HOST} ^example\\.com [NC]

　　RewriteCond %{SERVER_PORT} 80

　　重写规则 ^(.*)$ $1 [R=301,L]

　　注意：如果您不确定自己是否在服务器上进行了正确的更改，请确保您的服务器公司或 IT 人员执行这些修复。

　　

　　5、如果您正在运行 WordPress网站，请使用该插件

　　修复这些重定向的一种简单方法是使用插件，尤其是在运行 WordPress网站 时。

　　许多插件可以强制重定向，但这里有一些使该过程尽可能简单：CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。

　　关于插件的注意事项：如果您已经使用了太多插件，请不要再添加。

　　您可能想调查您的服务器是否可以使用类似于上述的重定向规则（例如，如果您使用的是基于 NGINX 的服务器）。

　　这里有一个警告：插件权重会对 网站 速度产生负面影响，所以不要总是假设新插件会帮助你。

　　6、所有网站链接都应该从

　　即使执行了上述重定向，也应该执行此步骤。

　　如果您使用绝对 URL 而不是相对 URL，则尤其如此。由于前者总是显示你使用的是哪种超文本传输​​协议，如果你使用的是后者，你不需要太在意这一点。

　　为什么在使用绝对 URL 时需要更改实时链接？由于 Google 会抓取所有这些链接，因此可能会导致内容重复。

　　这似乎是在浪费时间，但事实并非如此。您要确保最终 Google 可以准确地抓取您的 网站。

　　

　　7、确保从到过渡，没有 404 页面

　　404 页面的突然增加可能会使您的 网站 无法操作，尤其是在该页面有链接的情况下。

　　此外，由于显示的 404 页面过多，Google 找不到应抓取的页面会导致抓取预算的浪费。

　　Google 的负责人 John Mueller 指出，抓取预算并不重要，除非是针对大型 网站。

　　John Mueller 在推特上表示，他认为爬虫预算优化被高估了。对于大多数网站s，它没有帮助，它只帮助*敏*感*词*的网站s。

　　“IMO 刮削预算被高估了。其实大部分网站都不需要担心。如果您正在抓取网页或运行 网站 数十亿个 URL，这很重要，但对于普通的 网站 来说并不是很重要。”

　　SEO PowerSuite相关负责人Yauhen Khutarniuk的一篇文章文章也对这一点进行了阐述：

　　“从逻辑上讲，您应该关注抓取预算，因为您希望 Google 尽可能多地发现您的 网站 重要页面。您还希望在您的 网站 新内容上快速找到它，您的抓取预算越大（并且管理越聪明），这种情况发生的速度就越快。”

　　优化抓取预算很重要，因为在 网站 上快速找到新内容是一项重要任务，同时尽可能多地发现 网站 的优先页面。

　　8、如何修复可能的 404 页面

　　首先，将 404 从旧 URL 重定向到新的现有 URL。

　　更简单的方法是，如果您有 WordPress网站，请使用 Screaming Frog 获取 网站，然后使用 Redirect WordPress 插件执行 301 重定向规则以进行批量上传。

　　9、URL 结构不要过于复杂

　　在准备技术 SEO 时，URL 的结构是一个重要的考虑因素。

　　您还必须注意诸如随机生成的动态参数（已编入索引）、难以理解的 URL 以及其他可能导致技术 SEO 实施出现问题的因素。

　　这些都是重要因素，因为它们可能会导致索引问题，从而损害 网站 的性能。

　　10、更多用户友好的网址

　　创建 URL 时，您可能会考虑相关内容，然后自动创建 URL。然而，这可能并不合理。

　　原因是自动生成的 URL 可以遵循几种不同的格式，但都不是非常用户友好的。

　　例如：

　　(1）/内容/日期/时间/关键字/

　　(2）/内容/日期/时间/数字字符串/

　　(3）/内容/类别/日期/时间/

　　(4）/内容/类别/日期/时间/参数/

　　正确传达 URL 背后的内容是重点。出于可访问性的原因，它在今天变得更加重要。

　　URL 的可读性越高越好：如果有人在搜索结果中看到您的 URL，他们可能更愿意点击它，因为他们会确切地看到该 URL 与他们正在搜索的内容的相关程度。简而言之，URL 需要与用户的搜索意图相匹配。

　　许多现有的 网站 使用过时或混乱的 URL 结构，导致用户参与度低。使用更人性化的 URL，您的 网站 可能具有更高的用户参与度。

　　11、重复的网址

　　在建立任何链接之前要考虑的一个 SEO 技术问题是：内容重复。

　　以下是内容重复的主要原因：

　　（1）网站 的各个部分内容大量重复。

　　（2）从其他网站获取内容。

　　（3）仅存在一个内容的重复 URL。

　　因为当多个 URL 代表一个内容时，它确实会混淆搜索引擎。搜索引擎很少同时显示相同的内容，并且重复的 URL 会削弱其搜索能力。

　　12、避免使用动态参数

　　虽然动态参数本身不是 SEO 问题，但如果您无法管理它们的创建并始终如一地使用它们，它们以后可能会成为潜在威胁。

　　Jes Scholz 在 Search Engine Journal 上发表了一篇文章 文章，涵盖了动态参数和 URL 处理的基础知识以及它如何影响 SEO。

　　参数用于以下目的：跟踪、重新排序、过滤、识别、分页、搜索、翻译，Scholz 解释说。

　　当您发现问题是由 URL 的动态参数引起的时，通常归结为基本的 URL 管理不善。

　　在跟踪的情况下，创建搜索引擎抓取的链接时可以使用不同的动态参数。在重新排序的情况下，列表和项目组使用这些不同的动态参数重新排序，创建搜索引擎然后抓取的可索引重复页面。

　　如果您不将动态参数保持在可管理的水平，您可能会无意中引入过多的重复内容。

　　如果对部分内容的创建没有仔细管理，这些动态 URL 的创建实际上会随着时间的推移而积累，这会稀释内容的质量，进而削弱搜索引擎的执行能力。

　　它还会导致关键词“自相残杀”，相互影响，并且在足够大的范围内，它会严重影响您的竞争能力。

　　13、短网址比长网址好

　　长期 SEO 实践的结果是较短的 URL 比较长的 URL 更好。

　　谷歌的 John Mueller 说：“当我们有两个内容相同的 URL，我们需要选择其中一个显示在搜索结果中时，我们会选择较短的一个，也就是标准化。当然，长度不是主要的但是如果我们有两个网址，一个很简洁，另一个有很长的附加参数，并且它们显示的内容相同，我们更愿意选择短的。有很多例子，比如不同的因素发挥作用，但在其他条件相同的情况下——你有更短和更长的，我们也会选择更短的。”

　　还有其他证据表明，谷歌专门对短 URL 进行排名，而不是较长的 URL。

　　如果您的 网站 收录很长的 URL，您可以将它们优化为更短、更简洁的 URL，以更好地反映 文章 的主题和用户意图。

　　

　　（编译/雨果网路晓琳）

　　【特别声明】未经许可，任何个人或组织不得复制、转载或以其他方式使用本网站的内容。请联系：