全网文章采集,采集分析2019年1月至2019
优采云 发布时间: 2021-08-24 21:04全网文章采集,采集分析2019年1月至2019
全网文章采集,采集分析了2019年1月至2019年12月以来tidb官方发布文章的全部规格字段。合并后,本专栏所有相关文章皆可以免费使用。(部分文章未能合并,此功能只提供“保留”的查询,
采集不了啊,你连采集器都没有呢。现在是个人tidb本地5g流量,是够用的。公司和国外是要10g甚至100g。
都有采集了,每个月我见过的人都5000起步,云服务器的钱多贵,一个月少说5000起步。
肯定是采集不了的。tidb是已开源的数据库产品,本身没有所谓的数据采集接口。至于其他人说的合并别人,这个是不会,目前tidb已经出了配套的ci/cd服务,是针对复杂集群的,合并就要重新训练。
最简单的事情就是phpsocket,
哪有那么麻烦?tidb是自研分布式多维数据库
统计分析是个伪需求,没有那么的复杂。
获取全网数据是很不现实的。拿云平台来说,分布式系统很复杂,部署起来容易,维护起来难度大,很难达到小企业的要求。你要说多人使用,可以,来年我再进一部分数据。
首先数据采集不是一个应用场景,就像我问题里面说的,应用场景要弄成多场景合一,这一点还是比较难的。其次说到tidb是否能够进行分析,tidb不是说搞出一个api就能用的,这一点有很多问题,也需要很多优化。一般来说需要考虑很多问题,首先是网络拓扑和存储策略等,这一点如果复杂的话比较难,即使都是tibco作为生态,如果收购一个比较成熟的数据库解决方案也不是完全能够解决tibco的问题。因此对应的tibco能提供的能力也要有。