解决办法:文章被采集的处置办法_seo关键词优化专业

优采云发布时间: 2022-10-14 03:12

　　百度禁止网站使用QQ和手机爬虫工具

　　爬虫对销售很有帮助，但百度不这么认为。网上有消息称，百度监管部近日发现大量客户竞标网站非法截取其QQ号和手机号。引起不少用户对百度搜索引擎的不满，特此公告

　　【随州网站优化】文章如何处理采集

　　很多人讨厌我们的原创文章瞬间被别人抄袭，甚至有人用它来发一些垃圾链。我特别相信很多老人都遇到过这种情况，有时候他们的辛苦还不如采集。请问各位大佬遇到这种情况是怎么处理的？

　　首先，尝试让搜索引擎将此内容收录放在对手的采集之前。

　　1、及时抓取文章，让搜索引擎知道这个文章。

　　2.在百度网站Ping我们的文章链接，这也是百度官方告诉你的方式。

　　2. 文章按作者或版本标记

　　虽然有时无法阻止他人抄袭你的文章，但这也是一种书面的交流和暗示，总比没有好。

　　3.在文章中添加一些特殊内容。

　　1、比如文章中的标签码，比如N1、N2、颜色等，搜索引擎会对这些类型更加敏感，可以加深对原创的判断。

　　2.在文章中添加自己的品牌词

　　3.添加一些内部链接。由于喜欢抄袭文章的人通常比较懒惰，所以不排除有人可以直接复制粘贴。

　　4、文章添加时间时，搜索引擎会判断文章的原创性，并参考时间原因。

　　更正键功能以阻止网页

　　大多数人在使用鼠标右键复制文章的时候，如果技术不受这个功能的影响，无疑会增加采集器的麻烦。

　　5.晚上更新

　　最大的恐惧采集是对手知道你的习惯，尤其是在白天。很多人喜欢白天更新文章，结果被别人盯上，立马被文章抄袭。

　　这种方法在大家的网站上看到后就可以应用了，相信这样可以减少采集文章。

　　文章处理采集_seo关键词优化

　　阅读建议

　　百度为什么给你排名？

　　你爱我还是他？简网站有时候我只想谈恋爱，你爱我还是选择他？为什么百度给你排名而不是选择其他的网站呢？中国网站百万，随便搜点资料，他们不会什么都不做，那么问题来了？为什么别人的网站非得排在你后面？还有你的网站网站为什么

　　网站关键词排名优化容易出错

　　SEO人员在优化网站时，通常会调整网站结构、网站布局和网站长尾关键词维护。重构网站网站在优化排名的时候，人们经常会陷入网站排名优化的误区。重庆网站优化阿福整理了以下几点网站关键词排名优化中容易看出的误区。误区1.很多关键词堆积了很多SEO培训

　　主要网站网站收录和搜索引擎的提交条目

　　当您想向搜索引擎提交网站时，您不再需要打开每个搜索引擎。今天，合肥路飞SEO优化已经提交了大部分搜索引擎的所有入口。如下： 360搜索引擎登录入口：当你想向搜索引擎提交网站时，不再需要打开每一个搜索引擎，今天合肥路飞SEO优化把大部分的

　　网站K申诉频道

　　1.365SEO优化网站是一个非营利性网站。所有资源仅供学习和参考。请不要将其用于商业目的和功能。否则一切后果由您承担，本站不对任何资源承担法律责任。2、本站遵循行业规范，转载稿件将明确标明作者和出处。如果您的版权受到侵犯，请及时与您联系。

　　优化方法网站专业文章处置采集

　　解决方案:阿里员工排查问题的工具清单，总有一款适合你！

作者：红魔七号 链接：https://yq.aliyun.com/articles/69520?utm_content=m_10360

　　这是一篇来自阿里巴巴内部技术论坛的文章文章。原文在阿里巴巴内部受到好评。作者已将此文章开放给云栖社区供外部访问。文章内容已被部分删除，主要是介绍只能在阿里巴巴内部使用的工具，以及一些只能通过阿里巴巴内网访问的链接。

　　前言

　　我在日常工作中经常会遇到很多棘手的问题。在解决问题的同时，也有一些工具发挥着相当大的作用。我把它们写在这里。首先，它们被用作笔记，以便我以后忘记它们时可以快速阅读它们。二是分享。希望看到这篇文章的同学，能拿出自己觉得对日常生活很有帮助的工具，大家一起进步。

　　废话不多说，开始吧。

　　Linux 命令类

　　尾巴

　　最常用的tail -f

tail -300f shopbase.log #倒数300行并进入实时*敏*感*词*文件写入模式

　　grep

grep forest f.txt #文件查找 grep forest f.txt cpf.txt #多文件查找 grep 'log' /home/admin -r -n #目录下查找所有符合关键字的文件 cat f.txt | grep -i shopbase grep 'shopbase' /home/admin -r -n --include *.{vm,java} #指定文件后缀 grep 'shopbase' /home/admin -r -n --exclude *.{vm,java} #反匹配 seq 10 | grep 5 -A 3 #上匹配 seq 10 | grep 5 -B 3 #下匹配 seq 10 | grep 5 -C 3 #上下匹配，平时用这个就妥了 cat f.txt | grep -c 'SHOPBASE'

　　awk

　　1.基本命令

awk '{print $4,$6}' f.txt awk '{print NR,$0}' f.txt cpf.txt awk '{print FNR,$0}' f.txt cpf.txt awk '{print FNR,FILENAME,$0}' f.txt cpf.txt awk '{print FILENAME,"NR="NR,"FNR="FNR,"$"NF"="$NF}' f.txt cpf.txt echo 1:2:3:4 | awk -F: '{print $1,$2,$3,$4}'

　　2.匹配

awk '/ldb/ {print}' f.txt #匹配ldb awk '!/ldb/ {print}' f.txt #不匹配ldb awk '/ldb/ && /LISTEN/ {print}' f.txt #匹配ldb和LISTEN awk '$5 ~ /ldb/ {print}' f.txt #第五列匹配ldb

　　3. 内置变量

　　NR:NR表示awk执行后根据记录分隔符读取数据的次数。默认记录分隔符是换行符，所以默认是读取的数据行数。NR 可以理解为 Number of Record 的缩写。

　　FNR：awk处理多个输入文件时，处理完第一个文件后，NR不是从1开始，而是继续累加，所以出现了FNR。每当处理一个新文件时，FNR 从 1 开始计数，FNR 可以理解为 File Number of Record。

　　NF：NF表示当前记录被划分的字段数，NF可以理解为字段数。

　　寻找

sudo -u admin find /home/admin /tmp /usr -name *.log(多个目录去找) find . -iname *.txt(大小写都匹配) find . -type d(当前目录下的所有子目录) find /usr -type l(当前目录下所有的符号链接) find /usr -type l -name "z*" -ls(符号链接的详细信息 eg:inode,目录) find /home/admin -size +250000k(超过250000k的文件，当然+改成-就是小于了) find /home/admin f -perm 777 -exec ls -l {} ; (按照权限查询文件) find /home/admin -atime -1 1天内访问过的文件 find /home/admin -ctime -1 1天内状态改变过的文件 find /home/admin -mtime -1 1天内修改过的文件 find /home/admin -amin -1 1分钟内访问过的文件 find /home/admin -cmin -1 1分钟内状态改变过的文件 find /home/admin -mmin -1 1分钟内修改过的文件

　　pgm

　　批量查询满足条件的vm-shopbase的日志

pgm -A -f vm-shopbase 'cat /home/admin/shopbase/logs/shopbase.log.2017-01-17|grep 2069861630'

　　沙皇

　　tsar 是我们公司自己的采集工具。非常好用，并且将历史采集的数据持久化在磁盘上，所以我们快速查询历史系统数据。当然，也可以查询实时应用。它安装在大多数机器上。

tsar ###可以查看最近一天的各项指标

tsar --live ###可以查看实时指标，默认五秒一刷

tsar -d 20161218 ###指定查看某天的数据，貌似最多只能看四个月的数据

tsar --mem tsar --load tsar --cpu ###当然这个也可以和-d参数配合来查询某天的单个指标的情况

　　最佳

　　上面除了看一些基础资料，剩下的就是配合查询vm的各种问题

ps -ef | grep java top -H -p pid

　　得到线程的十进制转十六进制后，jstack去查看线程在做什么

　　其他

netstat -nat|awk '{print $6}'|sort|uniq -c|sort -rn #查看当前连接，注意close_wait偏高的情况，比如如下

　　故障排除工具

　　跟踪

　　首先要说的是btrace。它确实是生产环境和预发布故障排除的一大杀手。没有介绍什么的。直接上代码

　　1、查看当前是谁调用了ArrayList的add方法，只打印当前ArrayList大小大于500的线程的调用栈

@OnMethod(clazz = "java.util.ArrayList", method="add", location = @Location(value = Kind.CALL, clazz = "/.*/", method = "/.*/")) public static void m(@ProbeClassName String probeClass, @ProbeMethodName String probeMethod, @TargetInstance Object instance, @TargetMethodOrField String method) { if(getInt(field("java.util.ArrayList", "size"), instance) > 479){ println("check who ArrayList.add method:" + probeClass + "#" + probeMethod + ", method:" + method + ", size:" + getInt(field("java.util.ArrayList", "size"), instance)); jstack(); println(); println("==========================="); println(); } }

　　2.*敏*感*词*当前服务方法调用时返回的值和请求的参数

@OnMethod(clazz = "com.taobao.sellerhome.transfer.biz.impl.C2CApplyerServiceImpl", method="nav", location = @Location(value = Kind.RETURN)) public static void mt(long userId, int current, int relation, String check, String redirectUrl, @Return AnyType result) { println("parameter# userId:" + userId + ", current:" + current + ", relation:" + relation + ", check:" + check + ", redirectUrl:" + redirectUrl + ", result:" + result); }

　　欲了解更多信息，请访问：

　　注意：

　　经过观察，1.3.9的release输出不稳定，需要多触发几次才能看到正确的结果

　　当正则表达式匹配跟踪类时，必须控制范围，否则应用程序很可能会因为 CPU 满运行而死机。

　　由于字节码注入的原理，如果想让应用恢复正常，需要重启应用。

　　格雷斯

　　说说几个很棒的功能（有些功能和btrace有重叠）：

　　sc -df xxx：输出当前类的详细信息，包括源码位置和类加载器结构

　　跟踪类方法：我真的很喜欢这个功能！很久以前就可以在 JProfiler 中看到这个特性。打印出当前方法调用的耗时，分解到每个方法。

　　javaOS大小

　　只是一个功能

　　classes：通过修改字节码，改变class的内容，立即生效。所以你可以快速的在某处做一个日志来查看输出，但缺点是对代码的侵入性太强。但是，如果您知道自己在做什么，那确实是一件好事。

　　其他功能 Grays 和 btrace 都可以轻松完成，更不用说。

　　JProfiler

　　之前判断很多问题都得通过JProfiler，但是现在Grays和btrace基本可以做到。另外，问题基本上是生产环境（网络隔离），所以基本不用，但还是要标记一下。

　　请移步官网

　　大杀手

　　日食MAT

　　可以作为eclipse的插件使用，也可以作为单独的程序打开。

　　详情请移步

　　java 三轴，哦不，是七

　　JP

　　我只使用一个命令：

sudo -u admin /opt/taobao/java/bin/jps -mlvV

　　堆栈

　　常见用法：

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack 2815

　　本机+java堆栈：

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstack -m 2815

　　金信息

　　可以看到系统启动参数，如下

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jinfo -flags 2815

　　地图

　　两种用途

　　1.检查堆

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -heap 2815

　　2.转储

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:live,format=b,file=/tmp/heap2.bin 2815

　　或者

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -dump:format=b,file=/tmp/heap3.bin 2815

　　3.看看谁被堆占用了？使用 zprofiler 和 btrace，排查问题更加强大

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jmap -histo 2815 | head -10

　　jstat

　　jstat参数很多，但是一个就够了

sudo -u admin /opt/taobao/install/ajdk-8_1_1_fp1-b52/bin/jstat -gcutil 2815 1000

　　数据库

　　今天也经常使用jdb。

　　可以使用jdb进行预调试，假设你预发布的java_home是/opt/taobao/java/，远程调试端口是8000。那么

　　sudo -u admin /opt/taobao/java/bin/jdb -attach 8000。

　　以上出现代表jdb启动成功。您可以为以后的调试设置断点。

　　具体参数可以看Oracle官方说明

　　CH*敏*感*词*B

　　CH*敏*感*词*B感觉在很多情况下可以看到更多有趣的东西，所以就不详细描述了。查询信息听说jstack、jmap等工具都是基于它的。

sudo -u admin /opt/taobao/java/bin/java -classpath /opt/taobao/java/lib/sa-jdi.jar sun.jvm.hotspot.CLHSDB

　　更多细节可以在 R 的这篇文章中看到

　　Intellij IDEA 插件

　　关键推动者

　　你不能记住一次快捷键，但你总能记住几次，对吧？

　　行家助手

　　分析maven依赖的好帮手。

　　虚拟机选项

　　1. 你的类是从哪个文件加载的？

-XX:+TraceClassLoading 结果形如[Loaded java.lang.invoke.MethodHandleImpl$Lazy from D:programmejdkjdk8U74jrelib t.jar]

　　2.应用挂起并输出dump文件

　　-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/logs/java.hprof

　　jar包冲突

　　把它写成单独的标题会不会太过分了？每个人都或多或少地处理过这个烦人的案例。如果我不相信下面的这么多计划，为什么我不能处理你？

　　mvn dependency:tree > ~/dependency.txt

　　输入所有依赖项

　　mvn dependency:tree -Dverbose -Dincludes=groupId:artifactId

　　只打印指定 groupId 和 artifactId 的依赖关系

　　-XX:+TraceClassLoading

　　添加了 vm 启动脚本。加载类的详细信息在tomcat启动脚本中可见

　　-verbose

　　添加了 vm 启动脚本。加载类的详细信息在tomcat启动脚本中可见

　　greys:sc

　　grays的sc命令也可以清楚的看到当前类是从哪里加载的

　　tomcat-classloader-locate

　　下面的 url 可以用来知道当前类是从哪里加载的

　　curl:8006/classloader/locate?class=org.apache.xerces.xs.XSObjec

　　其他

　　dmesg

　　如果你发现你的java进程已经无声无息地消失了，几乎没有留下任何线索，那么dmesg很可能已经有了你想要的。

sudo dmesg|grep -i kill|less

　　寻找关键字oom_killer。找到的结果类似于以下内容：

[6710782.021013] java invoked oom-killer: gfp_mask=0xd0, order=0, oom_adj=0, oom_scoe_adj=0 [6710782.070639] [] ? oom_kill_process+0x68/0x140 [6710782.257588] Task in /LXC011175068174 killed as a result of limit of /LXC011175068174 [6710784.698347] Memory cgroup out of memory: Kill process 215701 (java) score 854 or sacrifice child [6710784.707978] Killed process 215701, UID 679, (java) total-vm:11017300kB, anon-rss:7152432kB, file-rss:1232kB

　　上图显示对应的java进程被系统的OOM Killer杀死，得分为854。

　　解释一下OOM杀手（Out-Of-Memory killer），它监控机器的内存资源消耗。当机器内存耗尽时，该机制会扫描所有进程（根据一定的规则、内存使用情况、时间等计算），挑选出得分最高的进程，然后将其杀死以保护机器。

　　dmesg日志时间转换公式：

　　日志实际时间 = 格林威治 1970-01-01 +（当前时间秒数 - 系统启动秒数 + dmesg 打印的日志时间）秒：

date -d "1970-01-01 UTC `echo "$(date +%s)-$(cat /proc/uptime|cut -f 1 -d' ')+12288812.926194"|bc ` seconds"

　　剩下的就是看为什么内存这么大，会触发OOM-Killer。

　　新技能获得

　　限速器

　　想要精细控制QPS？比如这样的场景，你调用一个接口，对方明明需要你把你的QPS限制在400，你怎么控制？这就是 RateLimiter 发挥作用的地方。细节可以移动

0

2022-10-14

关键词文章采集

0 个评论

要回复文章请先登录或注册

AI时代内容工厂

解决办法:文章被采集的处置办法_seo关键词优化专业

0 个评论

发起人

AI时代内容工厂

解决办法:文章被采集的处置办法_seo关键词优化专业

0 个评论

发起人

相关问题