解决方案:独立站防止被竞争对手分析网站SEO数据
优采云 发布时间: 2022-10-20 08:15解决方案:独立站防止被竞争对手分析网站SEO数据
在做外贸的时候，我一直在想办法分析竞争对手。当我是一个独立网站的时候，我想用各种工具来分析竞争对手的网站。SEO优化布局。再想一想，既然您可以使用工具相互分析，那么您的竞争对手也将能够使用工具来分析自己。当然，你是一个菜鸟，此刻不会被你的竞争对手看不起，但既然你模仿你的竞争对手，对方迟早会发现你的存在。优秀的独立站基本不怕被对手分析。Young Free写这篇文章的目的是想出一个思路，延缓新秀被对手发现的时间。
当我们分析竞争对手的独立网站时，我们经常使用一个叫做 Ahrefs 的工具。至于这个工具到底有多厉害，大家可以去看看外贸大神顾小北的博客《SEO最强营销分析工具——Ahrefs详解》。Ahrefs是一个分析工具网站主要依靠自己的爬虫机器人（Robots）不断抓取目标网站的页面信息并上传到自己的服务器上与Google等搜索引擎结合用于数据分析。Ahrefs有检测功能，高级付费用户可以自行检测网站相关链接和关键词。使用这种检测，您不仅可以模仿对手，还可以查明您是否被模仿。
了解了 Ahrefs 工具如何帮助我们分析竞争对手的 网站，我们也可以想办法阻止他们被 Ahrefs 分析，从而减少被竞争对手发现的机会并耽误时间。根据 Ahrefs 的自述文件，他们的 Bot 符合 Robots.txt 协议，这里我们可以通过创建 网站 的 Robots.txt 文件来阻止 Ahrefs Bot。这里是Ahrefs、SEMrush等其他爬虫的bot信息，包括一些浪费流量的无用爬虫，大家可以根据自己的需要进行选择。请将Robots.txt上传到网站的根目录，并确保可以正常访问，例如
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
User-agent: AhrefsBot
<p>
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /</p>
上传到服务器后，可以访问Ahrefs的网站，查看是否可以被Ahrefs访问并接受规则。
然而，经过 Young Free 的测试，Ahrefs 并没有像 网站 所说的那样遵循 Robots.txt 协议。幸运的是，他们发布了自己的爬虫IP段，我们可以通过阻塞他们的IP段来阻止Ahrefs爬取我们的网站。如果独立站点使用的服务器是腾讯云或阿里云等国内厂商，或者有自己的防火墙规则，我们可以将IP段添加到服务器服务商的防火墙规则中。以腾讯云为例，进入控制台-云服务器-安全组-新建/添加规则。如下所示。
如果您使用的服务器服务商没有自己的防火墙，并且您没有使用塔，也没有修改服务器系统的防火墙规则，建议您使用Cloudflare，它不仅可以加快您的网站，但它的防火墙更具保护性好吧，您的网站安全，我们可以通过 Cloudflare 的防火墙规则阻止 AhrefsBot 的访问。在CF的Firewall-Tools中一一添加IP段，如下图。
做了上述之后，虽然不可能完全避免被竞争对手分析，但至少已经努力防止Ahrefs完全获取你的网站数据，在一定程度上防止被竞争对手分析. 内裤还在。如果你想保护你的 网站 数据不被竞争对手挖掘，还有很多事情值得做。这不仅仅是阻止 Ahrefs 或 SEMrush。市面上有多少可以分析网站 工具很多，需要根据自己的需要，一一采取措施。Young Free 只是在这里给出一个想法。如果真的把这里的大部分工具都挑出来了，估计Young Free的博客也留不住了。
当然，既然我们已经建立了一个独立的网站，就一定不能害怕被竞争对手分析。独立网站越优秀，模仿的人就越多。我们要做的就是一直被模仿，永不被超越。
年轻自由！, 版权所有丨如果没有特别说明，都是原创丨这个网站是BY-NC-SA 4.0协议授权
转载请注明原文链接：独立站防止被竞争对手分析网站SEO数据
报酬
【你收红包，我赚赏金】
总结:公众号mysql代码_记录微信公众号历史文章采集(二、js代码完善和数据库建立)
， 函数 {
res.on（'data'， function（chunk）{
回调（块+服务器数据）;
}）
}）;
------------------
变量选项 = {
方法： “开机自检”，
主机： “”， // 注意否，这是服务器的域名。
端口： 80，
路径：路径， // 接收程序的路径和文件名
标头： {
“内容类型”：“应用程序/x-www-form-urlencoded; 字符集 =UTF-8”，
“内容长度”：内容长度
}
};
找到函数替换请求选项以修改：
replaceRequestOption ： function（req，option）{
var 新选项 = 选项;
if（/google/i.test（newOption.headers.host）））{
新选项主机名 = “”;
新选项端口 = “80”;
}
返回新选项;
}，
创建数据库和数据表
在完善PHP代码之前，我们还需要创建数据库和数据表。好消息是，团队负责人已经给出了用于创建数据表的 SQL 语句。修复了一些语法错误和关键字重复的问题
微信公众号表
创建表“微信”（
“id” int（11） AUTO_INCREMENT不为空，
'biz' varchar（255） DEFAULT' ' 注释 '官方编号唯一标识 biz'，
'采集' int（11） DEFAULT 1 注释 '记录采集时间的时间戳'
主键（“id”）
） ;
微信文章表
创建表格“帖子”（
“id” int（11） AUTO_INCREMENT不为空，
'biz' varchar（255） 字符集 utf8 非空注释 '文章对应的公共号码 biz'，
“field_id” int（11） 不为空 注释 “由微信定义的 ID，每个文章唯一的”，
'标题' varchar（255） 不为空 默认 ' 注释 '文章标题'，
“title_encode”文本字符集 utf8 非空注释“文章编码，以防止表情符号出现在文章
，
'摘要' varchar（500） 不为空 默认 ' 注释 '文章摘要'，
“content_url” varchar（500） 字符集 utf8 非空注释 “文章 地址”，
