伪原创*敏*感*词*(机器学习是什么？产品经理一定需要学习人工智能相关技术)

　　伪原创*敏*感*词*(机器学习是什么？产品经理一定需要学习人工智能相关技术)

　　在以技术为主要驱动力的人工智能时代，人工智能产品经理必须学习人工智能相关技术。在本文中，作者将与大家分享机器学习的相关知识。

　　

　　作为一名人工智能产品经理，你不一定需要有*敏*感*词*或博*敏*感*词*，但你需要了解一些技术的基本概念，了解各种技术的优缺点及其技术边界。

　　就像你会骑自行车，但你不必自己造自行车，但你仍然需要知道自行车运动的基本原理，比如链条传动。

　　本文作者将主要介绍：什么是机器学习？

　　掌握机器学习将更容易理解后续的神经网络。

　　没有必要从这些复杂而令人垂涎的方式入手来理解机器学习。从一个简单易懂的概念来理解可能会更有效。作者一直认为“机器学习是一种数据分析的方法”。

　　随着互联网的发展，数据量越来越大，如何利用数据变现成为企业最头疼的问题。

　　事实上，未经处理的原创数据实际上并没有太大的使用价值。有价值的数据是通过正确的分析技术获得更丰富的数据认知、更清晰的场景洞察和更准确的数据画像，在凸显数据意义的时候帮助决策制定。机器学习的作用是分析海量数据并挖掘其意义和价值。

　　

　　如图所示，数据分析可以分为以下四类：

　　情况描述：根据可用数据描述现实世界的当前状态。异常诊断：根据已有数据发现异常，了解异常原因。未来预测：以时间为维度，利用历史数据查看数据变化趋势，预测未来发生的概率。行为准则：考虑如何改变现状或未来数据以满足对未来的期望。

　　机器学习正好可以做这四件事。机器学习可以通过从数据中学习来描述现实世界，洞察世界，预测未来世界的演变。

　　一、 传统软件与机器学习的逻辑区别

　　互联网时代，产品经理的工作是分析现有业务，根据业务流程设计合理的系统处理逻辑，开发工程师根据设计的业务处理逻辑实施产品。

　　因此，传统软件的操作从输入到输出的过程都是设计的、固定的、清晰的。如图所示，工程师的角色是设计流程并根据设计的流程处理数据。

　　人工智能产品不同于互联网产品或传统软件产品。人工智能产品根据现有数据自动构建逻辑结构。人工智能产品通过机器学习算法反复从数据中学习。在不告诉计算机业务逻辑的情况下，人工智能算法可以找到隐藏在其中的规则和含义。

　　

　　人工智能系统将训练数据（输入数据+结果数据）放入人工智能算法中得到一个模型，如图所示，这个模型代替了产品经理或需求分析师设计的软件逻辑结构。

　　机器学习与传统软件方法的区别非常大。机器学习颠覆了原有的程序思路。

　　传统的程序思路是人们已经对数据进行了分析，找到了规则，通过输入数据+规则验证得到最终结果；而机器学习并不要求人们对数据本身进行分析和判断，而是对所有的工作进行分析和判断。交给机器后，输入训练数据后，机器根据算法找出隐藏在数据中的规则，并可以将这些规则付诸实际应用。

　　二、机器学习学习模型

　　根据训练方法的不同，机器学习有四种学习模式：监督学习、无监督学习、半监督学习和强化学习。

　　这四种学习方式的根本区别在于，针对不同的数据内容，训练方式不同。

　　监督学习：对标记数据进行训练以获得模型，通过该模型处理未知数据。无监督学习：事先没有训练数据样本，而是通过算法对数据进行分析建模，找到规律。半监督学习：半监督学习训练中使用的数据只有部分标记，大部分没有标记。强化学习：强化学习也使用未标记的数据，但有一种方法可以知道你离正确答案越来越近还是越来越远。

　　监督学习非常容易理解。它基于人类制定的规范，并通过机器学习不断训练，以达到本规范下的最优解。为什么会出现无监督学习？没有训练的自动化建模会走错路吗？

　　举个简单的例子，就像一个对音乐一窍不通的人，但通过多听，很快就能区分古典、现代和爵士。同理，我们将大量不同时代不同类型的音乐交给机器。机器可以根据音频和节奏中高、中、低音的使用找到音乐的特点，完成分类，无需我们提前告诉机器是哪一种。是什么类型的音乐。

　　

　　机器学习可以解决的问题有很多，但总的来说可以分为：分类、回归、聚类、降维等，如图4-4所示。

　　在解决这些问题时，算法很多，常见的监督学习算法，如支持向量机、K近邻算法、决策树、朴素贝叶斯、逻辑回归、线性回归、神经网络等。而像聚类、EM算法等等都属于无监督学习。各种算法的分类和应用领域如表所示。

　　作为产品经理，笔者建议深入了解机器学习的学习模式，了解各种学习模式的主要用途。只有了解了这些内容，才能与工程师形成有效的沟通。.

　　1. 监督学习

　　监督学习使用标记的历史数据进行训练，导出模型，然后输入新数据并基于模型导出解决方案。

　　

　　如图所示，监督学习算法使用带标签的数据集生成模型，然后将此模型与新数据一起使用来验证模型的准确性，或者使用实时数据将模型应用于生产环境。

　　监督学习需要大量的数据作为训练数据，如果手头有数据，如何划分训练数据和测试数据是个头疼的问题。如果训练数据太少，模型可能不准确，如果训练数据太多，验证数据可能会受到太多噪声的影响。

　　一般来说，建议对训练数据和测试数据使用 6:4 到 8:2 之间的比率。

　　1）监督学习过程：

　　通过一个例子来说明监督学习的过程，我们要做的功能是用户上传一张照片，系统识别这张照片是否是你。而你上传的照片可能是全长照片，半身照片，或者照片中只有一只眼睛的特写。

　　第一步，数据的生成和分类：首先要采集足够多的关于“你”的照片，全身、半身、正面、侧面，只要有你的图片在一个组，这个组称为训练集，用来训练。

　　此外，准备一组照片。这些照片中只有一部分有你的形象，另一部分是其他人的照片。这部分称为验证集，验证集用于测试训练好的算法模型是否能识别你。将验证集作为输入，并得到一些输出，如果照片中有你，则为 1，如果没有你，则为 0。

　　第二步，训练：通过神经网络进行训练时，将训练集中的每张图像作为神经网络的输入，通过神经网络中每一层的神经元运算，进行特征提取。当所有的神经元都计算完后，你会得到最右边的输出，不管是 1 还是 0。

　　第三步，验证：至此，第一组的数据已经用完了。接下来，我们将使用第二组数据来验证训练模型的准确性。这个过程涉及超参数优化、激活函数的选择等。

　　第四步，封装应用：一旦数据验证的指标达到预期指标，就训练模型。该模型可以封装为接口并集成到软件中。软件通过界面与用户交互。用户上传照片后，软件会自动调用接口完成计算并将结果返回给软件程序接口。

　　2）一些经典的监督学习算法：

　　作为一名人工智能产品经理，你不一定要能够设计算法或详细实现算法，但你必须了解算法的内容、特点和目标。以下部分将介绍两种监督学习算法，SVM 和朴素贝叶斯分类器，产品经理可选。

　　SVM（支持向量机）：

　　SVM 是一种非常流行的监督学习模型，可用于分类或回归。支持向量机可以有效解决小样本、非线性和高维模式识别的问题。因此，SVM 的应用非常广泛。我们先假设在一个二维空间中有不同的图形，如图：

　　

　　C1和C2是空间上的两个类别，C1是圆柱体，C2是分布在区域内的立方体，中间可以用对角线区分，对角线的斜率是W。斜线是分类函数。分类函数可以将两个样本完全分开。如果一个线性函数可以将样本完全分离，则数据一般称为线性可分，否则称为非线性可分。

　　分类函数是一维空间中的点，二维空间中的直线，三维空间中的平面。当然，还有更高维度或无限维度的分类函数，所以分类函数也有一个总称，叫做超平面。

　　聪明的人自然会发现，上图中的对角线其实是可以左右移动的，如下图所示：

　　

　　支持向量机的目的是找到一个超平面，可以将样本分为两类，分类区间最大，是支持向量机的基本理论模型。

　　当然，如果世界上物体的分散度这么均匀有规律，计算结果很容易，但现实世界并非如此。散落在这个位面。

　　

　　用一个简单的函数对这种图进行分类几乎是不可能的。

　　于是科学家提出了另一个概念“核函数”。意味着样本可以从原创空间映射到更高维空间，通过在高维空间中分割图像最终完成线性分割。

　　第一步：将二维空间升级为三维空间，如下图所示。

　　

　　第二步：将二维样本数据投影到三维空间中，如下图所示。

　　

　　第三步：在三维空间中进行切割，如下图所示。

　　

　　Step 4：将切割的超平面映射到二维平面，如下图所示。

　　

　　这样就完成了新的核函数。由于非线性空间非常复杂，您无法立即知道哪个核函数最适合将非线性空间转换为线性空间，因此 SVMS 通常会实现多个核函数来确定最佳选项。

　　2. 朴素贝叶斯分类器

　　如果你的领导给你一个数据量适中、变量较少的分析任务，希望你尽快完成数据预测，那么选择朴素贝叶斯是更好的方法。

　　让我们看看贝叶斯定律是什么：

　　通过改变表达式更容易理解：

　　如果我们按性别和体重来区分产品经理和程序员，这将要求 P(programmer|gender,weight) 和 P(product manager|gender,weight)。

　　根据贝叶斯定律：

　　P(职业|性别、体重) = P(性别|职业) P(职业)/P(体重)

　　除了贝叶斯算法，还有朴素贝叶斯，它是在贝叶斯算法的基础上做一个基本假设的算法。

　　朴素贝叶斯假设所有数据属性都是独立的，并且它们不会相互影响。正是因为有了这个假设，许多复杂的问题才得以简化。而朴素贝叶斯也非常适合预测未知数据集，做一些数据预测。

　　在上面的例子中，根据朴素贝叶斯，可以认为性别和体重没有关系，即P(weight|occupation,gender)=P(weight|occupation)。

　　P(性别、体重|职业) = P(性别|职业) × P(体重|职业)

　　朴素贝叶斯的优点是：

　　正是由于朴素贝叶斯的优势，朴素贝叶斯在实时预测和多类预测中经常见到。不仅如此，由于文本分类中的变量类型较多，且类型相对独立，因此朴素贝叶斯在文本分类中得到了广泛的应用，如垃圾邮件识别、网站内容识别、新闻推荐等。

　　三、无监督学习

　　对于未标记的数据，通过算法学习数据的分布或数据之间的关系，称为无监督学习。

　　无监督学习的目标是使用算法来探索隐藏在人类无法直接理解或无法手动完成的数据中的某些结构和属性。由于数据没有任何标签，因此也很难评估无监督学习的结果是否正确。但是如果你通过无监督学习对数据进行分组，你可以学习到原创数据中无法预见的隐藏信息。

　　如果把在校学习的学生称为监督学习，那么不上学的孩子也可以通过自己对世界的观察和理解来学习，但是他们学到的东西是随机的、随机的，但也是无法预测的最终的学习会是什么样子。

　　人工智能也是如此。2017年，有消息传出：美国科学家制造的两个人工智能机器人通过自学创造了一种只有他们两个人才能理解的语言。而且，两个机器人自己也开始用只有他们能懂的语言交流，引起了人们极大的恐慌，最终以毁灭收场。

　　无监督学习在许多应用场景中都有验证的实际例子。

　　如果你开一家服装厂做衣服，你怎么确定衣服的S、M、L码？如果你同时拥有中国人的所有身高值，可以通过无监督学习来完成。

　　正是因为没有人工标记，到目前为止，无监督学习还没有达到有监督学习的准确性和有效性，因此无监督学习一直受到人工智能领域一些科学家的批评。但近年来，无监督学习再次流行起来，一些科学家甚至声称无监督学习是人工智能的未来。

　　无监督学习中最流行的算法之一是 Ian Goodfellow 提出的生成对抗网络 (GAN)。

　　GAN 的原理是将两个神经网络连接起来，一个神经网络称为“*敏*感*词*”，它负责生成旨在试图欺骗另一个神经网络的数据，而另一个网络称为“判别器”。通过这两个网络的对抗学习，已经取得了一些令人惊讶的结果，例如可以从文本字符串或手绘草图生成照片般逼真的图片的人工智能技术。

　　1. 判断指标

　　人工智能中通常有三个评价指标：Precision、Recall和Accuracy。这三个指标在无监督学习中非常重要，而这三个指标通常用于无监督学习。评估。

　　准确率：对于给定的测试数据集，分类器正确分类的样本数与总样本数的比值。简而言之，准确率就是调查的准确率。就像警察抓小偷一样，每个人都是小偷吗？如果抓到的10个人中有9个人是小偷，那么准确率就是90%。回想一下：对于给定的测试数据集，分类器正确地找到所有正确分类的样本。简而言之，回忆就是一切。就像警察抓小偷一样，有100个人，总共有20个小偷，如果抓到10个，召回率是50%。准确率：表示识别对的比例。也就是好人被认定为好人，坏人被认定为坏人，就像警察抓贼一样，有100个人，

　　精度、召回率和精度是衡量人工智能算法的关键指标。这三个指标越高，算法的适应性越好。

　　四、半监督学习

　　当我们有能力标记数据并对标记的信息进行分类和回归时，就会使用监督学习。

　　无监督训练是没有标签信息的训练，通常用于聚类。但有时我们手中的数据往往只是部分标记而不是全部标记，那么可以使用半监督学习来完成。

　　作者近年来一直在做的“国民政府网站监控项目”就是一个很好的例子：

　　

　　项目监控全国9万多个政府网站和24亿个政府网站页面，如图4-13所示。项目需要做的是在这些页面中发现它的页面。有没有异常，用户对那些页面更感兴趣。

　　数十亿的页面，不可能标记所有的页面，标记的页面只有几万。如果直接丢弃未标记的样本集，使用传统的监督学习，不仅可惜，而且由于训练样本不足，数据会失真，影响机器学习的效果。如何有效利用未标注数据成为需要讨论的内容。

　　最简单的方法是标记未标记的页面，但随之而来的是巨大的人工成本。如果一个人标记一个页面 0.5 分钟，则需要 24 亿个页面来标记。贴标签需要一个人365天不间断地贴标签，需要5400多年才能完成。

　　项目组采用半监督学习的方法完成工作，首先使用带标签的样本数据集训练一个学习器，然后根据该学习器对未标注的样本进行预测。

　　对预测结果样本进行分类，对不确定性高的样本和分类置信度低的样本进行两次标注，最后将数据扩展至训练集，重新训练学习器，生成最终结果。

　　

　　显然，半监督学习本质上还是一种监督学习，对训练数据样本进行*敏*感*词*处理，但与全监督学习相比，其学习成本大大降低。对于有监督学习和无监督学习的各种算法，如果数据集符合半监督学习的特点，可以采用半监督学习方法。

　　五、强化学习

　　强化学习也称为：奖励学习、评价学习。

　　如果用标准定义来描述强化学习，那么强化学习的目标就是学习一个最优策略（Policy），它允许本体（Agent）在特定环境（Environment）中根据当前状态（State）来行动（行动）以获得最大回报。强化学习经常与有监督和无监督学习相混淆。

　　

　　强化学习将学习视为一个试探性的评估过程。如图所示，代理为环境选择一个动作。环境接受动作后，状态发生变化，同时产生强化信号，将强化信号反馈给代理。智能体根据强化信号和环境的当前状态选择下一个动作。选择的原则是增加正强化的概率。

　　选择的动作不仅会影响即时增强值，还会影响下一时刻的环境状态和最终增强值。

　　监督学习就像一个学生在与站在你旁边的老师一起参加考试。当学生完成一个问题时，老师会立即告诉你你做错了什么。

　　但现实世界是复杂的，很多实际问题没有标准答案，只有那种答案更合适。强化学习的过程就像我们训练动物一样。动物每做一件事，训练者都需要及时给予反馈，而这种反馈的好坏都会影响它接下来的行为。

　　人工智能的强化学习就是这样，通过一次次强化的过程，让机器知道哪种行为能得到最好的奖励。正是由于强化学习的实时反馈特性，强化学习才普遍应用于机器人领域。

　　监督学习和强化学习都将通过算法获得从输入数据到输出结果的关系映射。监督学习给出了输入和输出的关系，可以告诉算法什么样的输入对应什么样的输出。

　　另一方面，强化学习提供用于判断行为好坏的反馈。当然，强化学习给出的是反馈信息，所以整个过程都有延迟。有时需要多个进程才能知道前一个节点的选择是否正确。

　　本文由@一河原创发表于人人都是产品经理，未经允许禁止转载。

　　题图来自 Unspalsh，基于 CC0 协议。