文章实时采集可以借助一些api来做实时数据的采集

　　文章实时采集可以借助一些api来做实时数据的采集

　　文章实时采集可以借助一些api来做实时数据的采集。一般主流api都可以调用，但是注意需要的权限就可以。不一定需要设置用户名和密码。文章数据是否需要做汇总可以看你自己需求，我个人不习惯做汇总。因为目前的人工智能比较火爆，小老师们需要的数据实在是少，所以还是没有做汇总，也有可能是我懒。数据比较少的话，在各个数据源上抓取是可以的，不一定非要找源头。

　　现在工业界做实时数据处理，往往是单机处理来获取数据，一台电脑操作一个数据源，有些时候是没有办法全局的获取全量数据的。

　　初步用java先搞了几个产品：clickzhihuimage：做ai爬虫。还不错，每天发帖较多。首页开放，一共50k条数据。采样下载movieout和commentcomment：目前还在没日志扫描模块，

　　感谢邀请。我看好ai大数据。非常鼓励所有人！开源思想！愿意做贡献。社区，资源，规则，人才。这些都是必要的。只有投入到资本市场。才会有更多的人受益。

　　有啊，比如etl，语义网之类的。

　　各个大数据公司都有分析产品，你如果精力和*敏*感*词*都是硕士以上的话推荐去哈工大读个长春理工的大数据专业硕士。

　　人工智能个人感觉还是一个高高在上的概念，本身并不需要数据，也不需要数据分析，自然也不需要这些人工智能的数据分析工具，倒是本身产生大量数据的互联网圈子，要人工智能数据分析工具，去想办法匹配业务分析需求，显然是不够高明的。互联网公司的分析有一个地方比较需要，就是互联网企业每天面对海量数据，那些数据的数量决定了他的数据分析结果，其次利用好数据，分析出来的数据就有用，就会出现价值。

　　数据量少就是铁。最后的最后你才能参与到人工智能的实践工作中，到时候，物料多了，时间少了，你就可以利用数据去发挥你的想象。最后一句，人工智能的项目还是不错的。