中级数据分析工程师修炼之路：产品规划-技术选型-数据采集

　　中级数据分析工程师修炼之路：产品规划-技术选型-数据采集

　　网页数据抓取自己搭建环境前几天，ceo聊人工智能，ai创业迎来了又一次的寒冬，人工智能热潮仍未退去，继续留在圈子里的独角兽必须要克服ai产品数量少，推广难，推广耗时间等一系列问题，通过技术性ai的应用实现盈利。而对于传统行业，信息化的普及过程中，信息技术的发展中，催生出大量的新方法，可以应用于物流行业的智能配送，医疗方面的人工智能辅助诊断，教育方面的学习辅助等等。

　　产品涉及到医疗，保险，零售等行业，也有解决特定人群的某方面问题。拿出来跟大家讨论分享。目标：以后的ai应用将会越来越复杂，越来越有深度，需要对业务深入进行分析，结合前沿技术应用实现对特定领域的技术提升。任务：产品规划-技术选型-数据采集-规划专家流程-相关运营-业务规划-实施落地想做到精准的程度是当然的，前期的数据采集是关键，数据挖掘是核心的能力，还有就是应用技术的选型也很重要，市面上比较好的机器学习系统，例如tensorflow,pytorch,keras，以及周边的框架：mlx，cnn,rnn，gan，one-shotlearning,embedding，decisiontrees，combinedfeatureextraction，cnn-basedpersonlookingateasysearch/detection，binary-linearmodel，以及很多不同的衍生的内容。

　　数据采集和数据分析主要是进行数据预处理，建立数据集，建立聚类。有了数据和数据分析的基础，才可以进行规划和采集数据，每一步的方法我们在《中级数据分析工程师修炼之路》中都讲过。数据采集之后，就可以上层的业务规划，基于预测结果做一些业务规划，基于规划数据集的分析结果，可以做特定的技术手段，主要包括：找出数据的潜在规律性，例如你先识别出来就应该判断用户是学生，那么你需要识别出用户的详细信息，例如他所在的城市，性别，*敏*感*词*，职位，年龄，在线时长等等信息，然后你需要对其进行分析，能够对应出来预测结果，比如学生学习能力比较好，那么可以给出用户最可能的学习时间，和用户的消费金额。

　　以此为基础做出相应的技术方案，由此整个规划结果也基本形成了。剩下就是采集数据，数据从何而来，是实时的还是离线的。通过离线或者实时的方式获取数据，才能基于这个数据去做深度学习的模型训练。这里，实时方式的获取手段有三种：实时流传输，实时抓包，实时计算，实时计算是更节省时间的方式，例如实时的打包下载flash包，或者用随时上线的方式获取数据。

　　全国大部分地区都支持全国公网访问，网络流量下的光纤，电信，网通等宽带线路。物流行业也有类似的使用方式。现在物流行业都是无线网络的，如果。