测试数据评估
优采云 发布时间: 2020-08-08 13:57机器学习过程:
问题定义-数据获取-数据准备-数据分割-算法选择-算法训练-测试数据评估-参数调整-模型使用
问题定义
出什么问题了
定义此任务,并将其分为任务(T),经验(E)和绩效(P).
图片中是否收录人物:
数据采集
定义问题后,开始数据采集. 有很多不同的采集数据的方法. 如果您想将评论与评分链接起来,则必须先爬网网站.
数据准备*
ETL,是Extract-Transform-Load的英文缩写,用于描述从源到目标提取,转换和加载数据的过程
BI通常是指商业智能. 商业智能(Business Intelligence,简称: BI),也称为商业智能或商业智能,是指利用现代数据仓库技术,在线分析和处理技术,数据挖掘和数据显示技术进行数据分析以实现业务值.
预处理过程中的某些过程: 数据分割*
机器学习算法的目标是预测未知的新数据. 为了评估生成的模型,需要将数据分为训练数据和测试数据. 使用训练数据进行算法训练,并使用测试数据计算生成模型的最终准确性. 测试数据不参与算法训练.
使用60%到80%的数据作为训练数据,其余部分用作测试数据. 因此,可以将在测试数据中获得最佳结果的模型用作目标模型
算法选择*
机器学习算法开始,并将训练数据的特征应用于该算法. 算法的选择取决于问题的定义.
算法训练
在训练数据集上执行训练模型. 大多数算法的权重/参数是在训练开始时随机分配的,并且在每次迭代中都会得到改善.
测试数据评估
使用训练数据生成最佳算法后,请在测试数据集上评估算法的性能. 测试数据集不能参与算法训练,因此测试数据不会影响算法的决策.
参数调整模型的使用
您可以获得在训练集上训练和生成并在测试集上进行评估的模型. 现在,您可以使用此模型来预测新数据的价值. 对于生产环境,您可以将模型部署到服务器,并通过API接口使用模型的预测功能