资讯专栏INFORMATION COLUMN

机器学习之深度学习 二分类、多分类、多标签分类、多任务分类

madthumb / 2682人阅读

摘要:多分类多分类,是指分类数量大于的分类问题。相关关系二分类多分类多标签分类多任务分类多任务学习迁移学习的相互关系二分类是时的多分类多分类时多标签分类的一种,时对多个相互独立的标签经行学习。

多任务学习可以运用到许多的场景。

首先,多任务学习可以学到多个任务的共享表示,这个共享表示具有较强的抽象能力,能够适应多个不同但相关的目标,通常可以使主任务获取更好的泛化能力。

此外,由于使用了共享表示,多个任务同时经行预测时,减少了数据来源的数量,以及整体模型参数的规模,使预测更加搞效。在多个领域中,可以利用多任务学习来提高效果或者性能,比如垃圾邮件过滤、网页检索、自然语言处理、图像识别、语音识别等等。

相关任务

  • 如果两个任务是处理输入的相同函数,但是在任务信号中加入独立的噪声处理,那么很明显这个任务就是相关任务。
  • 如果两个任务用于预测同一个个体的属性的不同方面,那么这些任务比预测不同个体的属性的不同方面更相关。
  • 两个任务共同训练时能相互帮助,并不是意味着他们时相关的。例如,通过在后向传播网络的一个额外输出中加入噪声可以提高泛化能力,但是噪声任务与其他任务不相关。

多任务学习

如下图所示,展示了4个独立的神经网络,每个神经网络都是一个针对同样输入仅有一个输出的函数。误差反向传播被应用于这些网络来独立训练每个网络,由于这些网络相互之间没有任务连接欸,因此其中一个网络学习到的特征并不能帮助另一个学习网络。这里称之为任务学习。

下图展示了以恶搞输入于上图中的4个网络一致的单一网络,但该网络由4个输出,每个输出对应于上图的一个任务。

需要注意的是,这些输出可以连接他们共享的一个隐层的所有神经单元,也由如上图所示,在共享的一个隐层后形成一个独立的子网络,训练不与其他任务共享的参数。这里成为多任务学习。在多任务学习网络中,后向传播并行的作用于4个输出。由于4个输出共享底部的隐层,这些隐层中用于某个任务的特征表示也可以被其他任务利用,促使利用,促使多个任务共同学习。

多个任务并行训练共享不同任务以学习到的特征表示,是多任务学习的核心思想

二分类

对于二分类是常见的分类问题,比如判断一张图片是不是人脸。如下图所示是一个二分类示例,其中不同的颜色表示不同的类别,中间线对应的线性分类面。

多分类

多分类,是指分类数量大于2的分类问题。例如中文或者英文的OCR问题;在目标检测中针对每个候选框的分类是多分类问题。在这类问题中,总的标签数大于2,且每条数据只对应其中一个标签。比如识别问题,输入的图片必须对应于人、车、毛、狗、未知等多个标签的一个。如下图

多标签分类

针对多标签分类是指输入源可以含有多个物体,标注的标签也是有多个如下图

传统的多标签分类问题也有拆分位二分类来解决的,但是在深度学习的今天,全连接后套多个Logistic(数据流)输出是一种性价比很高的做法。

多任务学习通常包含多个任务。最为典型的是Fast RCNN 同时做softmax分类和bbox的回归,这是两个完全不同的任务。如果多任务学习中的每个任务都为二分类问题,那么这种多分类问题就是一种广义上的多标签分类问题。

一般来说,多任务学习中不同的任务之间的区别较大,所以往往不共享所有层,比如 Fast RCNN 就是独立的两个全连接层,根据任务之间的区别大小,可以决定在不同的层开始分道扬镳。这种底层共享,高层分开的做法就是迁移学习。

相关关系

二分类、多分类、多标签分类、多任务分类、多任务学习、迁移学习的相互关系:

  • 二分类是N= 2时的多分类
  • 多分类时多标签分类的一种,时对多个相互独立的标签经行学习。
  • 多标签时多任务学习的一种,每个任务对应一个标签。
  • 多任务学习时迁移学习的一种,迁移学习中的源领域和目标领域对应多任务学习学习中的不同任务。

希望这篇文章让你对深度学习或者机器学习更加深入。
谢谢点赞评论!

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/119262.html

相关文章

  • 机器习之逻辑回归

    摘要:逻辑回归将样本特征和样本发生的概率联系起来,用于解决分类问题。因此可对二分类的分类方式为损失函数如果实际的分类为,越小时,损失越大如果实际的分类为,越大时,损失越大。对于有样本的数据集,损失函数为其中。 逻辑回归将样本特征和样本发生的概率联系起来,用于解决分类问题。 Sigmoid 函数 在最简单的二分类中,逻辑回归里样本发生的概率的值域为 [0, 1],对于线性回归 $hat{y} ...

    tain335 评论0 收藏0
  • 机器习之逻辑回归

    摘要:逻辑回归将样本特征和样本发生的概率联系起来,用于解决分类问题。因此可对二分类的分类方式为损失函数如果实际的分类为,越小时,损失越大如果实际的分类为,越大时,损失越大。对于有样本的数据集,损失函数为其中。 逻辑回归将样本特征和样本发生的概率联系起来,用于解决分类问题。 Sigmoid 函数 在最简单的二分类中,逻辑回归里样本发生的概率的值域为 [0, 1],对于线性回归 $hat{y} ...

    王岩威 评论0 收藏0
  • 开始机器习之前你必须要了解的知识有哪些?机器习系列入门篇

    摘要:进入当前程序的学习系统的所有样本称作输入,并组成输入空间。结束语注意这篇文章仅仅是我接下来的机器学习系列的第一篇,后续还会有更多的内容。 往期回顾:统计学习方法第...

    leoperfect 评论0 收藏0
  • 智能科与技术 毕业设计怎么做 - 选题推荐 - 疑问解答

    摘要:选题推荐持续性更新中以下为学长精选整理的智能科相关的毕设选题,供大家参考。最后毕设帮助毕设帮助,开题指导,技术解答 文章目录 1 前言2 选题注意事项2.1 选择...

    scq000 评论0 收藏0
  • 机器习之结果的评价

    摘要:的实现如下表示真实分类,表示预测结果混淆矩阵的结果为中封装了混淆矩阵方法精准率和召回率及实现有了混淆矩阵,精准率和召回率久很好表示了。就是召回率,即表示真实分类偏斜数据中占优势的分类中被预测错误的数量的占比,即。 以逻辑回归为例,介绍分类结果的评价方式。 精准率和召回率 对于极度偏斜的数据,使用分类准确度来评判模型的好坏是不恰当的,精确度和召回率是两个更好的指标来帮助我们判定模型的好快...

    zhaot 评论0 收藏0

发表评论

0条评论

madthumb

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<