解决方案:websocket框架+消息队列+httpsocket+c语言可以做到多种采集方式
优采云 发布时间: 2022-12-08 18:21解决方案:websocket框架+消息队列+httpsocket+c语言可以做到多种采集方式
文章采集功能基于云端支撑,提供资源采集,海量数据挖掘,数据可视化等功能,在支持采集的基础上,可以开发自定义的页面统计,统计图表等,形成完整的业务数据分析与可视化统计。欢迎使用采掘平台,
我有个关于采掘工具的想法可以交流一下,有多种采集框架,如:websocket框架+消息队列+httpsocket+c语言可以做到多种采集方式集合实现数据的互相采集,
最近在寻找中,目前尝试着用c++开发一个checklist收藏分类系统,看看能不能基于项目实践中的优化和使用感受总结出一些经验,
我觉得应该这样类比:现在国内提供大量数据采集工具的,也就那么几个;而国外部分收费的数据采集系统,也在慢慢被淘汰,被折腾着而不是被重视起来。
我用springboot配合bootstrapjs简单创建了一个数据采集的项目,ui体验很舒服,仅供参考,微信扫码有部分内容,
题主刚学,建议往性能一些的方向走。可以参考我的代码:曹刚-zhuangbi-博客园,探索新的应用场景。
我已经造出了用于采集迅雷的图文排序了
可以采用trackdata。数据主要来源于老美的sebastiangray的vlpp。是先从老美那里一次性买断了几十条采集链接。然后你再用c++接收这些采集到的东西。这些资源几十年都没更新了。传到国内这地儿也得几年。优点是数据质量比较高,当然慢的可怜。我老板就在用,两年前的事儿,时不时会让我整点儿日志用。