资讯专栏INFORMATION COLUMN

深度学习在2017年的十大发展趋势及预测

gaara / 2861人阅读

摘要:毫无疑问,深度学习将驱动在公司中的应用。在其价值评估和策略评估上使用的就是深度学习。端到端的深度学习是一个令人着迷的研究领域,但是迄今为止混合系统在应用领域会更有效率。目前专注于深度学习模式,方法和战略的研究。

在之前的博客中,我曾预言过未来几年的发展趋势。我记得上一篇博客的内容是《2011年软件开发趋势和相关预言》(Software DevelopmentTrends and Predictions for 2011,http://www.manageability.org/blog/stuff/software-development-trends-2011/view),是很久之前的事情了。现在想来,在那篇博客的十条预言中,有六条是准确的(即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala),但另外四条则并没有完全实现(即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents)。AppStores 和 OAuth 采用的是 Saas  模型,虽然未在大公司一展身手,却在小公司发挥了很大的作用。我会总结先前预言失败的教训,之前没有料到企业革新的速度竟如此缓慢!Semantic Indexing 和 Proactive Agents是其中最主要的两个预测,但是很不幸没能如我最开始设计的那样发展。可能是我当时高估了人工智能技术,当时深度学习还没有被创造出来。

 

现在,我对于深度学习的预言不会像之前那样,停留在概念水平上。同时,我也不会再预测公司是否会采用我的说法,而是把关注的焦点集中在研究趋势和预言上。毫无疑问,深度学习将驱动 AI 在公司中的应用。虽然形式还不够明朗,但对于 AI 来说,深度学习确实是其最主要的驱动力和方法。但目前我们尚不清楚,2017年中将会出现的哪些新的技术,推动人工智能获得指数式的发展。

 

所以,对于2017年,让我大胆的预测一下!

 

1. 硬件将双倍加速摩尔定律(i.e.2xin 2017)

如果你追踪过 Nvidia 和 Intel 的开发进程的话,这一趋势可谓显而易见。凭借着更为丰富多样的深度学习生态系统,2017将是由 Nvidia 主导的一年。在其他平台有足够的生态系统来开发DL之前,我想没有哪个人会选择离开 Nvidia。未来,Intel 的 Xeon Phi 将是所有解决方案中更为较精确的方案,在2017年基于  Nervana 的芯片被推出之时,其性能上将会赶上 Nvidia。

 

从经济学的角度考虑,云提供商会采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要变量。在2017年,Intel 基于 Neravana 的芯片的计算速度将会达到每秒种30万亿次。这虽然是我估计的数字,但目前 Nvidia 的计算速度已经能够达到每秒20万亿次了,我打赌 Intel 在2018年一定会有对整个市场造成重大的影响的技术创新。由于 Intel 拥有 3D XPoint 技术,将来很可能会成为行业的佼佼者。考虑到使用 HBM2 的 GPU 在其顶部堆栈的性能因素,3DXPoint 技术可能会提高整个硬件栈,但不一定会加速核心能力。

 

目前,Amazon 已经发布了其基于 FPGA 的云实例(http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/),根据的是 Xilinx UltraScal+e 技术,并在单实例上提供了6800个 DSP 薄片和64G内存。尽管提供的并不是 UltraScale+ 的 HBM  版本,I/O 受到限制,其运行能力仍然令人印象深刻。与 Nvidia 相比,在较低内存宽带的解决方案上,Intel(甚至包括 AMD)可能会暂停开发人员的开发工作,讨论是否投资给一项更复杂的开发流程(i.e.VHDL,Verilogetc)。

 

在披露的消息中,AMD 公开了其的 AMD 深度学习加速器直觉线,对  Nvidia 的硬件来说极具竞争性。AMD 计划在2017年年初发布该文档。这或许是要给 AMD 的 ROCm 软件开发预留足够的时间,确保其成熟可用。

 

2. 卷积神经网络(CNN)将占主导地位

CNN 将会成为 DL 系统广泛使用的基本模型。RNN 和 LSTM 与其循环识别和嵌入式记忆结点的使用将越来越少,与基于 CNN 的解决方案相比,不再具有竞争力。就像 GOTO 会从编程界消失一样,我预期 RNN 和 LSTM 也会有同样的宿命。事实上,并行架构的性能是胜过顺序架构的。

 

可微记忆网络将会更加通用。自然而然地,内存将会从核心节点中提取出来,作为计算机制中多带带的组件。我们需要记住的是,LSTM 的输入和输出门将会被辅助可微记忆取代。先前我们已经看到过关于重构 LSTM 解耦内存的讨论(参见扩充内存 RNN)。

 

3. 设计者会更依赖 Meta-learning

在我刚开启深度学习之旅时,我曾想过优化算法,尤其是那些二阶会导致大规模改进的算法。现在,显而易见,DL 就能为你学习优化算法。对于那些考虑获取更优版本 SGD 的人来说,这是一个终结。SGD 的更优版本即为机器学习,是当下十分具有针对性的问题。与此同时,Meta-Learning 能够基于它的域自适应优化学习。更具相关性的一个问题是,未来是否会出现反向传播算法的替代性算法。2017年年末,人类手工调整 SGD 算法的目标很有可能成为现实。

 

4. 强化学习仅会变得更具创造性

对现实的观察永远不尽完美,SGD 在很多问题上也不适用。这就使得,DL 系统的的所有实际应用都必须伴有 RL(强化学习)。除此之外,DL 的训练过程也离不开 RL。其中,Meta-Learning 就是在很大程度上受到 RL 影响的一个例子。事实上,RL 会被用来寻找各种各样的神经网络架构,与在类胆固醇上做超参数优化的过程类似。如果你恰巧忙于 Gaussian Process 事宜,可能要没时间吃饭了吧。

 

5. 对抗与合作学习将称王

过去,我们有单纯分析目标函数的整体 DL 系统。未来,我们期待看到系统由两个或两个以上的网络相互合作或竞争,从而获得最优的解决方案,这个解决方案很可能不是以解析的形式出现。此处可参见《游戏理论揭示未来深度学习》(Game Theory reveals the future of Deep Learning,http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a)这篇文章。2017年将会涌现出大量的研究,用于尝试管理非平衡环境。我们现在已经看到,研究人员正在努力使用 GANs 去找到可以处理非平衡状态的方法。

 

6. 预测学习或者无监督学习的进展不会太多

当谈及当下常见的术语“无监督学习”时,Yann LeCun 认为“预测学习”将是新的流行语。现在,我们还不能确定预测学习的应用范围会不会进一步扩大。其中的问题是,预测学习是否能在2017年取得较大的突破。我现在的感觉是这件事情并不简单,因为还不太清除其运行的机制,在概念上依然存在着很大的脱节。

 

如果你阅读过我之前写的 5 Capabilities of Deep Learning Intelligence 一文(http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be),你就会明白,预测学习是一种完全未知的能力,依然处于非常陌生的状态。预测学习就像是宇宙学家所说的暗物质:我们知道它就在那个地方,但就是不知道怎样才能看到它。我预感,它可能与高的熵或者其他的随机性有关。

 

7. 从学习到工业化的转化

吴恩达认为这是很重要的,我也这么认为!

 

8. 深度学习将会成为更多应用的组成部分

在2016年我们就已经看到,深度学习在比以往更大型的搜索算法中用作函数评估。AlphaGo 在其价值评估和策略评估上使用的就是深度学习。而 Google 的  Gmail 自动答复系统也使用了将 DL 与定向搜索想结合的方法。我期待能看到更多的混合算法,而不是新的端到端的训练过的 DL 系统。端到端的深度学习是一个令人着迷的研究领域,但是迄今为止混合系统在应用领域会更有效率。

 

9. 采用设计模式的频率会越来越高

深度学习是需要概念框架的众多复杂领域中的一个。尽管涵盖了很多高级的数学公式,但依然存在很多的文字描述和模糊的概念,可以从其他复杂领域中经证实十分有效的方法中获得(如软件开发领域),一般不通过正式而又十分严谨的途径获得。就 Deep Learning and Design Patterns 这篇文章而言(http://www.deeplearningpatterns.com/),我预言广大人工智能从业者一定可以获得设计模型。深度学习框架会变得越来越模块化而不是越来越整体化,这也将会进一步促进上述预言的实现过程。

 

10. 工程化速度将超过理论出现的速度

研究人员的背景和其使用的数学工具,会使他们在研究过程中会产生一些偏见。深度学习系统和无监督学习系统似乎是我们之前从未遇到过的新事物。因此,没有证据表明传统分析工具会对解开 DL 的实际运作机制提供任何帮助。几十年来,物理学上仍有大量动态系统让我感到困惑,这与动态学习系统的情形相似。

 

尽管我们缺乏对基本原理的理解,但这种情况不会阻止工程化背景下更为先进的应用程序。深度学习更像是生物学或遗传工程,我们能够创造出仿真学习机器,但是并不能较精确地知道其工作的方式。然而,这并不能组织我们创新的脚步。

 

本文作者 Carlos E. Perez 拥有20年软件开发经验,自2000年以来,他主要担任软件开发中的技术架构师。他是家长控制融合移动电话产品的首席架构师和总监,并且还是一家风险资本资助的初创公司的首席架构师,为 B2B 交易所开发优化解决方案。目前专注于深度学习模式,方法和战略的研究。

欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:81035754

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/4464.html

相关文章

  • 2017年大数据的十大发展趋势

    摘要:本文涵盖大数据未来发展的十大趋势,这些趋势可能对年及以后的大数据市场产生极大影响。高德纳咨询公司称,机器学习是年十大战略技术趋势之一。一些大数据供应商已经推出了具有自助服务能力的大数据分析工具,专家预计这种趋势将持续到年及以后。 虽然大数据市场将会继续增长这一点毋庸置疑,但企业应该如何应用大数据呢?目前还没有一个清楚的答案。新的大数据技术正在进入市场,而一些旧技术的使用还在继续增长。本...

    haobowd 评论0 收藏0
  • 云计算驱动十大战略技术变革

    摘要:年年末,发布了年十大战略技术发展趋势,分别为自主设备增强分析驱动的开发边缘计算沉浸式体验区块链智能空间隐私与道德量子计算。超大规模的联网设备离不开专业云计算服务的支持,目前主流云服务商均已推出自己的战略,供广大合作伙伴及客户方便快捷地接入。2018年年末,Gartner发布了2019年十大战略技术发展趋势,分别为自主设备、增强分析、AI驱动的开发、边缘计算、沉浸式体验、区块链、智能空间、隐私...

    Tikitoo 评论0 收藏0
  • 十余位权威专家深度解读,达摩院2019十大科技趋势点燃科技热情

    摘要:年的第一个工作日,阿里巴巴达摩院重磅发布了十大科技趋势,引发社会各界对未来科技的讨论和向往。根据达摩院的判断,专用芯片的应用将成为趋势。达摩院在此次十大科技趋势中提到,将催生超高清视频等场景的成熟。 2019年的第一个工作日,阿里巴巴达摩院重磅发布了2019十大科技趋势,引发社会各界对未来科技的讨论和向往。这一发布同样引来科学界的普遍关注。来自包括中科院、清华大学、佛罗里达大学、杜克大...

    _Dreams 评论0 收藏0
  • 最全!2019数据分析与商业智能趋势前瞻

    摘要:商业应用研究中心商业智能调查显示,全球服务市场预计将发生重大的技术变革。年最佳商业智能趋势与上述关于即将到来的趋势的主张大体一致。云优先战略可能最适合数据分析和商业智能。 图片描述 本篇文章汇总了国外2018年商业智能领域多份权威报告,将普遍受到认同的核心观点进行梳理,包含AI、移动BI、自助式BI、云部署、数据治理、增强型BI等多个方向,力求为读者呈现清晰的2019年商业智能蓝图。 ...

    qpwoeiru96 评论0 收藏0
  • 2018中国云计算技术应用盘点:AI正当道,IoT崛起时

    摘要:如今,无论是阿里云的驱动数字中国腾讯云的产业互联网,还是金山云的企业级市场,都指向了一片尚待开垦的沃土,即政企云化为主导的云计算下半场,此处我们略去不表产业发展,主要从技术应用演进的角度,来盘点年云计算市场现状,探讨未来技术发展态势。在2018年初,一位云计算从业者写下了这样一段话:2018年,最大的变局就是今年可能会成为中国IT产业全面变革的分水岭,基于云计算的全产业信息化在今年会正式拉开...

    keelii 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<