深度学习(Deep Learning)算法简介

hyuan 发布于2019-04-25 17:58 / 2718人阅读

摘要：考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。传统的前馈神经网络能够被看做拥有等于层数的深度比如对于输出层为隐层数加。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。

查看论文

Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2(1), 2009

深度(Depth)

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有孩子，输出节点没有父亲。

对于表达的流向图，可以通过一个有两个输入节点和的图表示，其中一个节点通过使用和作为输入(例如作为孩子)来表示；一个节点仅使用作为输入来表示平方；一个节点使用和作为输入来表示加法项(其值为 )；最后一个输出节点利用一个多带带的来自于加法节点的输入计算SIN。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。

深度架构的动机

学习基于深度架构的学习算法的主要动机是：

不充分的深度是有害的；

大脑有一个深度架构；

认知过程是深度的；

不充分的深度是有害的

在许多情形中深度2就足够(比如logical gates, formal [threshold] neurons, sigmoid-neurons, Radial Basis Function [RBF] units like in SVMs)表示任何一个带有给定目标精度的函数。但是其代价是：图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。这一点已经在logical gates, formal [threshold] neurons 和rbf单元中得到证实。在后者中Hastad说明了但深度是d时，函数族可以被有效地(紧地)使用O(n)个节点(对于n个输入)来表示，但是如果深度被限制为d-1，则需要指数数量的节点数O(2^n)。

我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深地或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示(see the polynomials example in the Bengio survey paper)。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。

大脑有一个深度架构

例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联，因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。

需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，任然有一个非常高效地(指数级高效)表示。

认知过程看起来是深度的

人类层次化地组织思想和概念；
人类首先学习简单的概念，然后用他们去表示更抽象的；
工程师将任务分解成多个抽象层次去处理；

学习/发现这些概念(知识工程由于没有反省而失败？)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。

学习深度架构的突破

2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。

2006年的3篇论文改变了这种状况，由Hinton的革命性的在深度信念网(Deep Belief Networks, DBNs)上的工作所引领：

Hinton, G. E., Osindero, S. and Teh, Y., A fast learning algorithm for deep belief nets .Neural Computation 18:1527-1554, 2006
Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007

在这三篇论文中以下主要原理被发现：

表示的无监督学习被用于(预)训练每一层；
在一个时间里的一个层次的无监督训练，接着之前训练的层次。在每一层学习到的表示作为下一层的输入；
用无监督训练来调整所有层(加上一个或者更多的用于产生预测的附加层)；

DBNs 在每一层中利用用于表示的无监督学习RBMs。Bengio et al paper 探讨和对比了RBMs和auto-encoders(通过一个表示的瓶颈内在层预测输入的神经网络)。Ranzato et al paper在一个convolutional架构的上下文中使用稀疏auto-encoders(类似于稀疏编码)。Auto-encoders和 convolutional架构将在以后的课程中讲解。

从2006年以来，大量的关于深度学习的论文被发表，一些探讨了其他原理来引导中间表示的训练，查看Learning Deep Architectures for AI

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4289.html

深度学习入门：10门免费线上课程推荐

摘要：，深度学习一直在音视频业内也是非常受到关注的热点，这里推荐个免费的优质线上课程。他现在也与合作开展人工智能深度学习工程。的课程，免费自动驾驶汽车的深度学习麻省理工学院这门课程通过构建自动驾驶汽车的应用主题介绍深度学习的实践。 Dive into Deep Learning，深度学习一直在音视频业内也是非常受到关注的热点，这里推荐10个免费的优质线上课程。推荐大家开源项目Class Ce...

jiekechoo 2019-06-26 19:58 评论0 收藏0
深度学习入门：10门免费线上课程推荐

摘要：，深度学习一直在音视频业内也是非常受到关注的热点，这里推荐个免费的优质线上课程。他现在也与合作开展人工智能深度学习工程。的课程，免费自动驾驶汽车的深度学习麻省理工学院这门课程通过构建自动驾驶汽车的应用主题介绍深度学习的实践。 Dive into Deep Learning，深度学习一直在音视频业内也是非常受到关注的热点，这里推荐10个免费的优质线上课程。推荐大家开源项目Class Ce...

Jackwoo 2019-06-26 19:58 评论0 收藏0
《DeepLearning.ai 深度学习笔记》发布，黄海广博士整理

摘要：在这堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，包括和等。课程中也会有很多实操项目，帮助学生更好地应用自己学到的深度学习技术，解决真实世界问题。深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课。该专项课程最大的特色就是内容全面、通俗易懂并配备了丰富的实战项目。今天，给大家推荐一份关于该专项课程的核心笔记！这份笔记只能用两个字形容：全面！ showImg(...

wenhai.he 2019-06-26 18:56 评论0 收藏0
Deep Learning深度学习相关入门文章汇摘

摘要：深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由等人于年提出。但是自年以来，机器学习领域，取得了突破性的进展。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知...

Riddler 2019-04-25 17:57 评论0 收藏0
机器学习入门

摘要：本文使用对超过条文本做主题抽取，一步步带你体会非监督机器学习方法的魅力。学习资料一份较全面的机器学习的学习资料，涵盖了系列，，，，等等。学习使用的过程中，我自己也在补充着机器学习和数据挖掘的知识。特征工程完全总结（Python 源码）那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。文中分享了人们对特征工程的归纳和总结以...

waterc 2019-06-26 15:50 评论0 收藏0