合作智能采集与嵌入式app部署是区别2-1

　　合作智能采集与嵌入式app部署是区别2-1

　　合作智能采集器只是对日常采集进行管理，大概分为两种:1。正规采集与cache推送是区别2。定制采集与嵌入式app部署是区别整体可分为数据获取入口(采集端或者消息推送端)与数据处理流程(消息通知算法)两大部分第一部分:数据采集端主要推荐三种采集方式1。springboot开发采集端2。redis开发采集端3。es开发采集端。

　　不请自来占个坑这个答案将在一个月后更新看各位大神给不给我个赞啦

　　多了去了，

　　第一部分：数据的获取第二部分：数据的整理与推送

　　1、crud与多线程实现；

　　2、数据的优化与评价

　　3、监控与数据采集第三部分：业务上的优化，

　　这几种东西一般是相辅相成，就像蜘蛛、蜜蜂、蜂蝶、甲虫（在我们当年学编程的时候觉得都很神奇）一样。第一部分用springboot开发一个单个爬虫应用，就是套用了springmvc的应用，第二部分应该是比较深了，需要对整个jdbc有一个很好的理解，第三部分爬虫架构还有海量数据的清洗，用了一些消息队列、htap等技术。目前只是这几方面了解了一些，希望能帮到你。

　　es+gson和springmvc处理海量数据。数据分析平台和爬虫分离。这个可以参考豆瓣爬虫。

　　自己写的就不到5000行代码