关于网站数据采集的澄清

　　关于网站数据采集的澄清

　　呵呵呵，最近 晚上做仿站的好多的，其中涉及到一个数据采集的问题，其实数据采集和仿站关系并不大。

　　数据采集工具的起源。

　　因为网上有很多的开源的峰会系统，cms网站系统以及eshop等系统，这些系统的管理员面临的一个问题就是没菜下锅的问题，要提高人气，让更多的人来到自己的网站或者峰会，就须要有吸引人的内容和不断更新网站内容，网站的后台管理模块本身是提供了发布文章或者信息的功能，但是这样发实在是太麻烦，一次写半天只能发布一篇文章，所以好多站长就在想，能不能手动的更新网站的内容呢，那样该有多省事 啊，有了这个需求，那么有的开源网站就在后台管理部份提供了一个采集的工具，支持站长通过这个工具去采集互联网上的其它网站或者峰会里面的内容到自己的网站上来，但是这些采集功能常常不是太强悍，于是就形成了专门的网站采集器。

　　专门的网站采集器就是拿来通过对指定其它网站url发送恳求，然后获取反应，对返回的的源码或则页面进行结构化分析，根据站长指定的一些模式匹配来提取其中的部份内容，取下来后还可以进行一些编辑更改等等，最后，你可以将这种采集到的数据储存到自己的本地的数据库或则文件中甚至可以直接通过发布模块发布到自己的网站或者峰会中，而且还可以设置定时手动采集发布，这样一来站长才能很方便的更新自己网站的内容获取更高的浏览和人气了。 据说有些采集器的功能还可以在自己的峰会中模拟几千人同时在线同时在不同蓝筹股发贴以及各类互动，吓死人了，这样一来你看见的峰会在线人数太可能是被采集系统模拟下来的二不是真的在线了。

　　采集系统偏重的是从其它的网站或者峰会将其好的内容拿出来之后经过一些处理之后仿到自己的网站上去，这就是采集器的主要的功能也是其主要的目的。有一些商城网站因为前面的商品信息不多吸引不到哪些人来，所以就通过一些采集软件去taobao这样的大商城起来采集一些商品的信息，采集了后仿到自己的应用中来进行数据挖掘或则诠释，这也是太常见的。有些网站为了防止被竞争对手采集还非常设计了一些避免被采集的方式。

　　那么这是采集，下面谈谈仿站，

　　仿站虽然就是做一个和他人几乎一模一样的网站。

　　有几种目的，一直是看见他人网站设计的好想仿造一下；还有的是为了垂钓。

　　那么仿站我们主要有2个问题，一个就是样子上要一样，这涉及好多css js 图片及其路径等等的问题，这些东西首先要从目标网站下载出来，然后还有修改各类布局各类调整就能做到既不上一样是很麻烦的，即使这样，那么得到的也都是html的静态页面，因为一个动态网站都是通过生成html静态页面来形成浏览器输出的，你下载到的哦也只能是一些静态的资源了，这样仿造的网站只能是样子上一样，但功能上却常常不同，真正的网站点击注册是可以完成注册的厄尔仿站则不可能，因为仿站就是一堆静态的html页面，没有动态代码，也没有后台的数据库，所以诸如注册这样的就没有了，针对仿站而已，如果但求样子上一样的静态仿站，那么还算比较好仿造的，但是假如要求动态功能也要一样的话，那才会很麻烦了，因为一些动态功能须要自己去开发，你有的只是一些后端的静态的东西，动态的须要自己完全的开发，这个时侯常常通过一些框架来支持这种后台功能的开发，但还是很麻烦的，所以说仿站的时侯，一般只是在全部静态仿站的情况下，只开放一部分少量的动态功能（通过框架比如dede），不必要所有的动态功能都开发，否则就是完全通过另一种方法去实现一个功能相同的网站了。