解密:如何防止别人采集抓取您的WordPress内容

　　解密:如何防止别人采集抓取您的WordPress内容

　　您是否正在寻找一种方法来保护您的 WordPress 博客内容免受垃圾邮件发送者和诈骗者使用内容抓取工具 采集 的侵害？

　　作为 网站 所有者，看到有人 采集 未经许可发布您的内容，将其货币化，在 Google 等搜索引擎上排名超过您，这非常令人沮丧。

　　在本教程中，我们将介绍什么是博客内容 采集，如何减少和防止内容 采集，甚至如何利用内容抓取来发挥您的优势。

　　什么是博客内容抓取？

　　博客内容 采集 抓取是指从众多来源获取内容并在另一个站点上重新发布。通常这是通过您博客的 RSS 提要自动完成的。

　　内容抓取现在非常容易，任何人都可以启动 WordPress 网站，放置一个免费或商业主题，并安装一些插件来 采集 来自选定博客的内容。

　　为什么内容爬虫 采集 我的内容？

　　我们的一些用户问我们为什么 采集 我的内容？简单的答案是因为你很棒。事实是，这些内容抓取者别有用心。以下是有人可能 采集 您的内容的几个原因：

　　这些只是为什么有人会 采集 您的内容的几个原因。

　　如何捕捉内容爬虫？

　　捕获内容爬虫是一项繁琐的任务，可能会占用大量时间。有几种方法可以捕获内容爬虫。

　　使用您的 文章 标题在 Google 中搜索

　　是的，听起来很痛苦。这种方法可能不值得，尤其是当你写的是一个非常流行的话题时。

　　引用

　　如果你在 文章 中添加内部链接，如果 网站采集 你的内容，你会注意到引用。这几乎是在告诉您他们正在抓取您的内容。

　　

　　如果您使用 Akismet，很多这样的引述会出现在垃圾邮件文件夹中。同样，这仅在您的 文章 中有内部链接时才有效。

　　Ahrefs

　　如果您可以访问像 Ahrefs 这样的 SEO 工具，您可以监控您的反向链接并留意被盗内容。

　　如何应对内容爬虫

　　人们使用内容采集工具的方式很少：不作为方式、删除方式或利用它们的方式。

　　让我们来看看每一个。

　　什么都不做的方法

　　这是迄今为止您可以采用的最简单的方法。通常人气最高的博主都推荐这个，因为跟爬虫打架要花很多时间。

　　现在很清楚，如果是像 Smashing Magazine、CSS-Tricks、Problogger 等知名博主，那他们就不用担心了。他们是 Google 眼中的权威网站。

　　然而，我们确实知道一些好的 网站 工具被标记为 采集 工具，因为谷歌认为他们的 采集 工具是原创内容。因此，我们认为这种方法并不总是最好的。

　　采取措施

　　这与“什么都不做”的方法完全相反。在这种方法中，您只需联系爬虫并要求他们删除内容。

　　如果他们拒绝这样做或根本不响应您的请求，那么您可以向他们的主机提交 DMCA（数字千年版权法）。

　　根据我们的经验，大多数爬虫 网站 都没有可用的联系表。如果他们这样做，那就好好利用它。如果他们没有联系表，那么您需要进行 Whois 查询。

　　您可以在管理联系人中查看联系人信息。通常管理和技术联系人是相同的。

　　它还将显示域注册商。大多数信誉良好的网络托管公司和域名注册商都有 DMCA 表格或电子邮件。您可以看到这个特定的人因为他们的名称服务器而使用 HostGator。HostGator 有一个 DMCA 投诉表。

　　如果名称服务器相似，则您必须通过反向 IP 查找和搜索 IP 来深入挖掘。

　　

　　您也可以使用第三方服务进行删除。

　　Jeff Starr 在他的 文章 中建议您应该阻止坏人的 IP。访问您的日志以获取其 IP 地址，然后在根 .htaccess 文件中使用以下内容阻止它：

　　Deny from 123.456.789

　　您还可以通过执行以下操作将它们重定向到虚拟提要：

　　RewriteCond %{REMOTE_ADDR} 123/.456/.789/.

RewriteRule .* http://dummyfeed.com/feed [R,L]

　　正如 Jeff 所建议的，您可以在这里获得真正的创意。将它们发送到收录 Lorem Ipsum 的非常大的文本提要。你可以给他们发恶心坏事的照片。您还可以将它们直接发送回它们自己的服务器，从而导致无限循环导致它们的 网站 崩溃。

　　我们采取的最后一种方法是利用它们。

　　如何利用内容爬虫

　　这就是我们处理内容爬虫的方式，结果非常好。它有助于我们的搜索引擎优化以及帮助我​​们赚取额外收入。

　　大多数爬虫使用您的 RSS 提要来采集您的内容。所以这些是你可以做的一些事情：

　　查看我们关于如何在 WordPress 中控制 RSS 提要页脚的指南，了解更多提示和想法。

　　如何减少和防止 WordPress 博客抓取

　　考虑一下，如果您采用我们的大量内部链接方法，添加附属链接、RSS 横幅等，您将有可能在很大程度上减少内容爬行。如果您采纳 Jeff Starr 关于重定向内容爬虫的建议，那也会阻止这些爬虫。除了我们上面分享的内容之外，您还可以使用其他一些技巧。

　　完整与摘要 RSS 提要

　　博客社区一直在争论是否存在完整的 RSS 提要或摘要 RSS 提要。我们不会详细讨论这个争论，但是拥有仅摘要 RSS 提要的优势之一是您可以防止内容被抓取。

　　您可以通过转到 WordPress 管理仪表板并转到设置 » 阅读来更改设置。然后更改提要中每个 文章 的设置以收录全文或摘要。

　　免费的:PHP采集-免费自动采集网页内容

　　如何使用PHP 采集快速收录和关键词排名？这篇文章分为2个部分来讲解，一个是网站程序的标准化，另一个是网站快速收录和排名，我想大多数人都会遇到，公司的网站 有程序问题，url优化需求等，程序部小伙伴不配合！或者 网站 聘请了第三方公司！如果你硬要去做seo，那你基本上就干不下去了！基本上以上都是公司程序部和我们seo网站优化部不协调或者根本没有严格规定造成的！你必须知道seo是一个非常复杂的行业和职位，涉及的内容包罗万象。其中，程序对网站的支持非常重要！配合不好，SEO端不行，程序端更麻烦！网站 程序需要满足哪些规范才能适合 SEO？

　　一、域名和服务器

　　1、如果页面不存在，则返回404错误码；

　　2、4XX、5XX服务器头信息异常增加，应及时通知SEO部门进一步检查。

　　3.域名不使用泛解析。当需要使用二级域名时，需要提前与SEO部门沟通后再进行分析；

　　3. URL规范化，URL启用301

　　4、网站不能有多个域名打开同一个页面；

　　5、如果有子域名开通测试，使用robots文件禁止搜索引擎抓取；

　　6、服务器启用gzip压缩，提高浏览速度；

　　7、在新栏目上线前完成内容填写；网站 和未完成内容的栏目不允许上线。

　　2、网站的结构与URL相关

　　1. 所有网站 URL 都是静态的，除了收录 计划禁止被搜索引擎抓取的内容。

　　2、网址一经确认上线，不得随意更改。特殊情况需要调整并与SEO部门沟通；

　　3、网站栏目和url目录需要一一对应，一级分类对应一级目录，二级分类对应二级目录。最多可归为二级目录。如果产品/页面的数量需要分三层或更多层级分类，这时候就需要注意了。

　　4、整个站点目录的URL以斜杠结尾，URL不显示index.php等文件名；

　　5. URL中的列名、文件名等字母全部小写。

　　6、本站所有页面增加面包屑导航；

　　7. URL中统一使用破折号或下划线，不添加其他特殊字符；

　　8. URL目录名优先使用对应的英文单词，不要使用中文和拼音，可以使用数字或字母；

　　9、当URL改变时，旧的URL应该被301重定向到新的URL地址；

　　3、与页面打开速度有关

　　1、在不影响视觉效果的前提下，前端页面的所有图片都要进行压缩；

　　2、删除不用的CSS代码，尝试将页面样式代码合并到CSS文件中；

　　3、谨慎少用JS，测试JS是否拖慢页面访问速度；

　　4、禁止使用session ID、Frame、Flash；

　　

　　5、页面纯文本代码（包括HTML、JS、CSS）不超过500K。主页等特殊页面可适当放宽。

　　6、使用主流浏览器实际测试页面打开速度，不要超过3秒。有条件的，多考省市。

　　4.TDK相关页面

　　1、页面Title标签、Description标签、H1文本会根据格式自动生成默认版本，但系统需要为SEO人员预留填写功能。

　　2、栏目页Title默认格式：二级栏目名称-一级栏目名称-网站name；

　　3、产品页面Title默认格式：产品名称-网站name；

　　4、文章页面标题默认格式：文章标题-网站姓名；

　　5、搜索页面Title默认格式：搜索关键字-网站name;;

　　6、每页翻页标题默认格式：栏目名称-第X页-网站名称；

　　7. 除特殊要求外，网站使用HTML代码链接，不使用JS生成链接；

　　8.除好友链接外的所有导出链接都添加nofollow属性；

　　9. 在栏目、产品/文章页面的主图片上添加ALT文字。后台编辑上传图片时，需要预留输入框填写ATL文本；

　　10. 在一个页面上只使用一次 H1。

　　五、函数使用及代码

　　1、如无特殊要求，网站所有页面上线时必须添加流量统计代码。

　　2、所有网站都开通了百度资源平台账号。

　　3. 网站 已启动。除非SEO或运营部门另有要求，robots文件开放所有url和文件（包括图片、CSS、JS）的爬取。

　　4、后台实时或周期性生成并更新XML版本的Sitemap，包括首页、栏目、翻页、产品/文章页面。是否收录过滤条件页面将在与SEO部门协调后确定。

　　5. 所有新站均采用响应式设计，不使用独立的手机站或手机版子域名。已经用移动子域名优化过的旧站暂时保持现状，与SEO部门沟通后改用响应式设计。

　　6. 英文网站 HTML代码不能收录汉字，包括注释。

　　7、当由于各种原因需要更改URL时，旧的URL会被301重定向到新的URL，不要使用其他的转向方式。

　　8、当因各种原因更改URL时，导航和内页链接更新为新的URL。导航中禁止需要重定向的 URL。

　　6. 使用PHP采集+SEO功能使网站快速收录

　　如果以上都没有问题，我们就可以使用这个PHP采集工具来实现自动采集伪原创发布和主动推送到搜索引擎。只需几个简单的步骤即可轻松获取采集内容数据，用户只需在PHP采集上进行简单的设置，PHP采集工具会根据关键词准确设置关键词到用户的设置 采集文章 以便您可以确保与行业 文章 保持一致。采集的文章可保存在本地或自动伪原创发布，方便快捷的内容采集和快速的内容制作伪原创。

　　与其他PHP采集相比，这个PHP采集基本没有任何规则，更不用说花很多时间学习正则表达式或html标签了，一分钟就可以上手，只要输入关键词采集可以实现（PHP采集也自带关键词采集功能）。全自动挂机！设置任务，自动执行采集伪原创，发布并主动推送到搜索引擎。

　　无论你有成百上千个不同的cms网站都可以实现统一管理。一个人维护数百个网站文章更新不是问题。这个PHP 采集 还配备了很多SEO 功能，通过软件采集伪原创 发布的时候可以提高很多SEO 优化。

　　1. 网站主动推送（让搜索引擎更快的发现我们的网站）

　　

　　2.自动配图（文章如果内容中没有图片，会自动配置相关图片）设置自动下载图片保存到本地或第三方（这样内容就不再有外部链接来自另一方）。

　　3、自动内链（让搜索引擎更深入地抓取你的链接）

　　4.在内容或标题前后插入段落或关键词（标题和标题可以选择插入相同的关键词）

　　5、网站内容插入或随机作者、随机阅读等成为“身高原创”。

　　6. 定时发布（定时发布文章让搜索引擎及时抓取你的网站内容）

　　使用这些 SEO 功能提高 网站 页面 原创 性能并提高 网站 的 收录 排名。通过工具上的监控管理，监控管理文章采集发布和主动推送（百度/360/搜狗神马/谷歌等），无需登录网站后台每天检查。直接在工具上自动完成SEO内容优化。目前博主亲测软件免费，可直接下载使用！

　　七、百度优化排名最基本的原则！

　　1、网站优化排名的目标是什么

　　1、一个网站是由很多网页组成的，网站是由一个或多个网页组成的。

　　2、SEO优化的对象是网页而不是网站。关于网站优化排名的误区是，大多数人总是认为优化的对象是网站。我们通常所说的“网站排名”和“网站优化”是不正确的。

　　二：百度蜘蛛的工作简单来说就是：

　　发现页面（发现网上有这个页面）——页面能不能正常爬取（爬取的时候有没有遇到什么困难：比如加载很慢，质量不高，错误多pages – 是否要爬取（页面不应该爬取，爬取数据库能给网名带来实际效果吗？）了解了这些基本原理后，我们就可以根据这些需求来尝试了。比如如何制作像上面说的百度爬取更方便吗?方法如下：

　　1）百度主动找到我们的页面

　　2）我们提交给百度

　　3）还有人告诉百度需要做一些外链推广工作

　　三、什么是超链接分析及超链接分析简介

　　1.《超链接分析》

　　超链接分析是百度的专利。原理是通过分析链接网站的数量来评价链接网站的质量。这个功能是为了保证用户在使用搜索引擎的时候，质量高、人气高的页面放在靠前的位置。百度总裁李彦宏是该技术的拥有者，该技术已被全球各大搜索引擎广泛采用。

　　2、我们如何理解超链接分析技术？

　　简单地说，判断一个页面是否优秀或权威，其他页面的“意见”很重要。即使一个网页不是很好，只要其他网页对它的“信任票”（反向链接）比其他网页多，那么它的排名就会高。需要注意的是，“超链接分析”只是排名的一个重要参考。

　　四：分析模块的工作，百度会重新处理网页进行预测和评估：

　　1）网站页面内容好不好？

　　2）页面的主题是什么？（标题、关键词 和网站 描述以及网站 内容本身由网站 的TDK 确定）

　　3）多少钱？原创学位？

　　4）以及其他评分选项，例如有多少外部链接？

　　百度通过以上指标给出搜索关键词的匹配排名，设计成匹配模式：完全匹配+词组匹配+广义秒匹配。

　　我们SEO优化的价值在于：匹配模式就相当于排名机会，我们需要获得多而好的排名机会。不断增加匹配机会，让更多的流量找到我们的网站。看完这篇文章，如果您觉得还不错，不妨采集或转发给需要的朋友和同事。每天关注博主教你各种SEO经验，让你的网站也能快速收录和关键词排名！返回搜狐查看更多