文章转载---教会你怎么样避免网站内容被采集

　　最近由于某网站对ip访问次数限制的问题，导致自己做下来的程序没能完成预期目标。这是找到的点资料，总结的不错。虽说是告诉你如何防采集，却也指明了怎样破解的方式。

　　目前看来只能通过增加采集效率的方法来完成任务了。

　　-----------------------------------------------------------------------------以下为拷贝-----------------------------------------------------------------------------

　　网络上现今存在好多的网站复制者她们自己不会去做网站只能你将网站做好了以后就借助一款网站的采集软件将你的网站内容完全的采集到自己的网站，这个对于网站的影响是太巨大的 怎么样房屋这种事情的发生呢？

　　1、限制IP地址单位时间的访问次数

　　分析：没有那个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这些喜好的，就剩下搜索引擎爬虫和厌恶的采集器了。

　　弊端：一刀切，这同样会制止搜索引擎对网站的收录

　　适用网站：不太借助搜索引擎的网站

　　采集器会怎样做：减少单位时间的访问次数，减低采集效率

　　2、屏蔽ip

　　分析：通过后台计数器，记录来访者ip和访问频度，人为剖析来访记录，屏蔽可疑Ip。

　　弊端：似乎没哪些弊病，就是站长忙了点

　　适用网站：所有网站，且站长才能晓得什么是google或则百度的机器人

　　采集器会怎样做：打游击战呗!利用ip代理采集一次换一次，不过会增加采集器的效率和网速(用代理嘛)。

　　3、利用js加密网页内容

　　Note:这个方式我没接触过，只是从别处看来

　　分析：不用剖析了，搜索引擎爬虫和采集器通杀

　　适用网站：极度厌恶搜索引擎和采集器的网站

　　采集器会如此做：你这么牛，都豁出去了，他就不来采你了

　　4、网页里隐藏网站版权或则一些随机垃圾文字，这些文字风格写在css文件中

　　分析：虽然不能避免采集，但是会使采集后的内容饱含了你网站的版权说明或则一些垃圾文字，因为通常采集器不会同时采集你的css文件，那些文字没了风格，就显示下来了。

　　适用网站：所有网站

　　采集器会怎样做：对于版权文字，好办，替换掉。对于随机的垃圾文字，没办法，勤快点了。

　　5、用户登入能够访问网站内容

　　分析：搜索引擎爬虫不会对每位这样类型的网站设计登入程序。听说采集器可以针对某个网站设计模拟用户登入递交表单行为。

　　适用网站：极度厌恶搜索引擎，且想制止大部分采集器的网站

　　采集器会怎样做：制作拟用户登入递交表单行为的模块

　　6、利用脚本语言做分页(隐藏分页)

　　分析：还是那句，搜索引擎爬虫不会针对各类网站的隐藏分页进行剖析，这影响搜索引擎对其收录。但是，采集器在编撰采集规则时，要剖析目标网页代码，懂点脚本知识的人，就会晓得分页的真实链接地址。

　　适用网站：对搜索引擎依赖度不高的网站，还有，采集你的人不懂脚本知识

　　采集器会怎样做：应该说采集器会怎样做，他总之都要剖析你的网页代码，顺便剖析你的分页脚本，花不了多少额外时间。

　　7、防盗链举措

　　分析：asp和php可以通过读取恳求的HTTP_REFERER属性，来判定该恳求是否来自本网站，从而来限制采集器，同样也限制了搜索引擎爬虫，严重影响搜索引擎对网站部分防盗链内容的收录。

　　适用网站：不太考虑搜索引擎收录的网站

　　采集器会怎样做：伪装HTTP_REFERER嘛，不难。

　　8、全flash、图片或则pdf来呈现网站内容

　　分析：对搜索引擎爬虫和采集器支持性不好，这个好多懂点seo的人都晓得

　　适用网站：媒体设计类而且不在乎搜索引擎收录的网站

　　采集器会怎样做：不采了，走人

　　9、网站随机采用不同模版

　　分析：因为采集器是依照网页结构来定位所须要的内容，一旦先后两次模版更换，采集规则就失效，不错。而且这样对搜索引擎爬虫没影响。

　　适用网站：动态网站，并且不考虑用户体验。

　　采集器会怎样做：一个网站模版不可能少于10个吧，每个模版弄一个规则就行了，不同模版采用不同采集规则。如果少于10个模版了，既然目标网站都这么费力的更换模版，成全他，撤。

　　10、采用动态不规则的html标签

　　分析：这个比较变态。考虑到html标签内含空格和不含空格疗效是一样的，所以和对于页面显示疗效一样，但是作为采集器的标记就是两个不同标记了。如果次页面的html标签内空格数随机，那么采集规则就失效了。但是，这对搜索引擎爬虫没多大影响。

　　适合网站：所有动态且不想违背网页设计规范的网站。

　　采集器会怎样做：还是有对策的，现在html cleaner还是好多的，先清除了html标签，然后再写采集规则;应该用采集规则前先清除html标签，还是才能领到所需数据。