网页数据采集到底是什么？

　　摘要：上网去搜索网页数据采集这几个字，出来的网页不少，可是看来看去，还没有一篇完整全面的说明，其实，网页数据采集是一个古老而又常新的话题，如果要下个定义，可以这么说：网页数据采集就是从网页上获取数据，一般来说是指通过软件或则工具从大量的公开可见的网页上精准的获取某一类信息，并且整理成规整的数据。

　　什么是网页数据采集

　　上网去搜索网页数据采集这几个字，出来的网页不少，可是看来看去，还没有一篇完整全面的说明，其实，网页数据采集是一个古老而又常新的话题，如果要下个定义，可以这么说：网页数据采集就是从网页上获取数据，一般来说是指通过软件或则工具从大量的公开可见的网页上精准的获取某一类信息，并且整理成规整的数据。

　　从前面这个定义来看，有几个关键的点，如果这几个点没有搞明白，就会有很多误会和困扰，在列出关键点之前，我们先瞧瞧几种常见的错误的理解：

　　错误观点1：网页数据采集就是“偷他人网站后台数据”。

　　经常有人找我所谓“拿站”，说白了就是想把他人网站数据非常是后台数据库，包括帐号等等全部“拿过来”，他们能够告诉我“要用点黑客手段”，这种是一种十分常见的错误理解。

　　错误观点2：网页数据采集就是“仿站”，或者“抄站”

　　还有人觉得，采集就是用工具把一个网站全部“复制出来”，然后仿照一个类似的“山寨版”。

　　错误观点3：网页数据采集就是转载，复制新闻贴子

　　甚至有些早已做过太长时间网页采集工作的人，或依照自己的经验把网页数据采集等同为复制转载新闻资讯贴子等。

　　正确观点：

　　其实以上几个观点都不正确，第一个，网页数据采集的目标是公开的网页，别人网站后台是“私有数据”，凡是没有经过授权，以所谓任何“黑客手段”盗取的后台数据都属于*敏*感*词*，我跟专业*敏*感*词*聊过这一点。第二个，网页数据采集本身是数据获取的过程，指的是从公开网页中获取数据，并不涉及拿数据来做什么，“仿站”其实是一种违背互联网精神，不尊重知识产权的行为，并且在一定程度上违规，如果对此有兴趣，可以查阅相关法律文件，对此我也有过深入研究，这种行为可能违规，因为构成不正当竞争，感兴趣的朋友可以去深入了解一下“京东严禁一淘”等知名案例，在日本，很多年前早已有一宗十分典型的这种*敏*感*词*开审。第三个，网页数据采集确实可以实现自动化转载新闻贴子等，但是这只是网页数据采集非常特别小的一个应用，不能把他等同于网页数据采集，而且这些方法也不应当成为倡导的借助网页数据采集的主要用途，再加上很多人，转载复制不说，还采取除去版权信息，掐头去尾，关键词替换，等等所谓的“伪原创”措施，想要误导搜索引擎，制造重复垃圾内容，这除了损害了被采集器的权益，还使想要搜索一些有用信息的人，淹没在成百上千条重复搜索结果中，我就常常十分苦恼，翻了10页，都是同样的一篇垃圾内容，各个网站都有。这最大的害处是破坏了互联网的良性发展气氛，大家都恶意复制垃圾内容制制造重复垃圾，最终坏了一锅汤，到头来被K站，自食恶果。

　　好了，说了这么多，正确的理解主要由以下几个关键点：

　　采集的目标和源头是公开的网页。采集一般是通过工具来完成。采集的结果是规整的数据。采集应该在法律和互联网规范的约束下进行，应该尊重知识产权。最后，这除了是我的理解，更是我始终倡导的网页采集的和游戏规则：就是把采集作为获取原创素材的方法，当获取到大量的原创素材以后，应该对数据进行自己原创性的独立的处理，处理的推论或则输出应当是自有知识产权的原创性内容，并且在必要的时侯保留对原创采集网页的版权引用，注明参考出处。

　　结论

　　讲了这么多，其实只是阐述了哪些是网页数据采集这个简单的概念，希望你们能共同支持和提倡互联网原创内容，积极维护网页数据采集的良好气氛，共同创造一个更好的互联网佳苑。

　　这次讨论网页数据采集是准备写一系列的原创文章，对网页数据采集这一话题做全面深入的阐述，欢迎诸位一起阐述，互相学习。

　　讨论请加群：网页数据采集，群号：254764602，加群暗号：网页数据采集