文章采集站点的情况(一)——内容分发

　　文章采集站点的情况(一)——内容分发

　　文章采集站点的情况,我这边根据不同类型的(内容分发,机器人爬虫,自动化产品)去制定。内容分发的话最简单就是google,百度和bing之间选择。至于baidu和百度之间的实践我也不清楚。内容分发方面,首先准备各种技术手段吧,例如采集器之类的,那么在此之上,你需要一套让爬虫平台去分发内容的工具或者方法吧。

　　这些工具和方法几个爬虫大框架之间都可以去定制,如果你选择纯定制,基本包含4种:爬虫工具,爬虫地址(ip)和存储方案,爬虫host和端口等。关于爬虫方面,如果不考虑机器人爬虫方案,全部以自然语言操作为主,爬虫界面只需要简单操作说明就能基本掌握。而真正的机器人,能够胜任更多自然语言和非自然语言操作。至于自动化产品部分,倒不是什么高端玩意,就是那些codeforces,isc之类的比赛的集合。仅此。

　　你连业务都没梳理清楚，就去想大数据，估计你也就搞一搞噱头，不管是把网站收了，还是自己上了，估计你都得做个数据存储系统，然后其它的数据分析和挖掘也不太可能在有一个垂直的网站交流清楚，所以你可以先学一下常用的集成开发框架，例如node。jsweb-sparkerlangc++javapythonphpnode。

　　js学会以后基本语言层面你也就知道怎么写爬虫，至于爬虫实现，想具体从什么方面入手比较好，至于大数据，个人建议不要太过于依赖大数据，万物都需要数据支撑，你只掌握常用的集成开发框架，相信就能做一个简单的集合了，常用的集成开发框架，例如node。jserlangjavapythonphpnode。jsmongodbc++等，先做一个简单的集合，在做一个简单的分类（比如爬虫的集合是爬虫实现的，分类的集合就是全网爬虫数据）。