摘要：论文链接会上其他科学家认为反向传播在人工智能的未来仍然起到关键作用。既然要从头再来，的下一步是什么值得一提的是，与他的谷歌同事和共同完成的论文已被大会接收。
三十多年前，深度学习著名学者 Geoffrey Hinton 参与完成了论文《Experiments on Learning by Back Propagation》，提出了反向传播这一深刻影响人工智能领域的方法。今天的他又一次呼吁研究者们对反向传播保持怀疑态度，并准备在理论体系上推倒重来。
Geoffrey Hinton 很是怀疑当前干着粗重活的人工智能
1986 年，Geoffrey Hinton 与别人合作了一篇论文（《Experiments on Learning by Back Propagation》）；三十多年后，这篇论文成为了人工智能爆发的中心。但是 Hinton 说他先前的突破性方法应该摈弃，转而去发现一种通向 AI 的新路径。Hinton，这位多伦多大学的荣誉退休教授兼谷歌研究员，说道他现在「深度怀疑」反向传播，正是这一笨重方法催生出了当今 AI 领域的绝大多数进展，包括图像与语音识别。「我的观点是摈弃一切，从头再来。」Hinton 说。
论文《Experiments on Learning by Back Propagation》链接：http://www.cs.toronto.edu/~fritz/absps/bptr.pdf
会上其他科学家认为反向传播在人工智能的未来仍然起到关键作用。但是 Hinton 认为，要想实现实质进展，必须创造全新的方法。「Max Planck 说：科学每经历一次葬礼就前进一步。未来依靠对我所说的一切持怀疑态度的研究生。」
运作机制：在反向传播中，标签或「权重」用于在类脑神经层中展示图像或声音。权重可以逐层调整，直到该网络能够在最少错的情况下执行智能功能。
但是 Hinton 认为这样是为了让神经网络自行做到「无监督学习」，他说：「我猜想这意味着抛弃反向传播，这不是大脑工作的方式，很明显我们并不需要标注所有数据。」
axios 文章中 Hinton「摈弃一切，从头再来」的观点，在推特上引起了热烈反响，Pedro Domingos、李飞飞等多人转推。李飞飞评论道：「反向传播非常重要，它就像是飞机上的劳斯莱斯引擎，虽然飞机无法做到像飞鸟一样机敏而灵活。」她又说：「赞同 Hinton 关于没有工具是永恒的观点，甚至反向传播或者深度学习也不例外。因此，基础研究的继续异常重要。」Gary Marcus 也对这一观点做出了回应：「深度学习并不完美，我们需要另起炉灶。Hinton 佐证了我二十年前讲过的这句话。」
既然要从头再来，Hinton 的下一步是什么？值得一提的是，Hinton 与他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的论文《Dynamic Routing Between Capsules》已被 NIPS 2017 大会接收。研究人员提出的容器（capsule）概念正是 Hinton 对于未来人工智能形态的探索。不可否认的是，在无监督学习的道路上，我们还有很长的一段路要走。
论文：Dynamic Routing Between Capsules
大会论文链接：https://nips.cc/Conferences/2017/Schedule?showEvent=9167
摘要：capsule 是一组神经元，其活动向量展示特定实体类型的实例化参数，如对象或对象部分。我们使用活动向量的长度表征实体存在的概率，纵向代表实例化参数。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时，更高级别的 capsule 变的活跃。我们展示了判别训练的多层 capsule 系统在 MNIST 数据集上达到了顶尖的性能，比识别高度重叠的数字的卷积网络的性能优越很多。为了达到这些结果，我们使用迭代的路由协议机制：较低级别的 capsule 偏向于将输出发送至高级别的 capsule，有了来自低级别 capsule 的预测，高级别 capsule 的活动向量具备大标量积。
原文链接：https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4608.html
摘要：然而反向传播自诞生起，也受到了无数质疑。主要是因为，反向传播机制实在是不像大脑。他集结了来自和多伦多大学的强大力量，对这些替代品进行了一次评估。号选手，目标差传播，。其中来自多伦多大学和，一作和来自，来自多伦多大学。 32年前，人工智能、机器学习界的泰斗Hinton提出反向传播理念，如今反向传播已经成为推动深度学习爆发的核心技术。然而反向传播自诞生起，也受到了无数质疑。这些质疑来自各路科学家...
摘要：在最近的一次人工智能会议上，表示自己对于反向传播非常怀疑，并提出应该抛弃它并重新开始。在人工智能多年的发展过程中，反向传播已经成为了深度学习不可或缺的一部分。最后，我们会将这些规则组合成可用于任意神经网络的反向传播算法。 现在的深度学习发展似乎已经陷入了大型化、深度化的怪圈，我们设计的模型容易被对抗样本欺骗，同时又需要大量的训练数据——在无监督学习上我们取得的突破还很少。作为反向传播这一深度...
摘要：的研究兴趣涵盖大多数深度学习主题，特别是生成模型以及机器学习的安全和隐私。与以及教授一起造就了年始的深度学习复兴。目前他是仅存的几个仍然全身心投入在学术界的深度学习教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 拥有斯坦福大学计算机视觉博士学位，读博期间师从现任 Google AI 首席科学家李飞飞，研究卷积神经网络在计算机视觉、自然语言处理上的应...
摘要：近日，该论文的一作终于在上公开了该论文中的代码。该项目上线天便获得了个，并被了次。 当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的，但是如今他却认为，CNN的特征提取层与次抽样层交叉存取，将相同类型的相邻特征检测器的输出汇集到一起是大有问题的。去年9月，在多伦多接受媒体采访时，Hinton大神断然宣称要放弃反向传播，让整个人工智能从头再造。10月，人们关注已久...
摘要：在最近的一次大会上，表示，他对反向传播深表怀疑，并认为我的观点是将它完全摒弃，然后重新开始。相对于对象函数计算反向传播。通常，目标函数是预测分布与实际分布之间差异的量度。所以也许无监督的学习不需要目标函数，但是它仍然可能需要反向传播。 Geoffrey Hinton终于公开阐述了他对那些早已令许多人惶恐不安的事物的看法。在最近的一次AI大会上，Hinton表示，他对反向传播深表怀疑，并认为：...
阅读 2319·2023-04-26 01:44
阅读 2273·2021-09-10 10:50
阅读 1194·2019-08-30 15:56
阅读 1935·2019-08-30 15:44
阅读 390·2019-08-29 11:14
阅读 3318·2019-08-26 11:56
阅读 2890·2019-08-26 11:52
阅读 761·2019-08-26 10:27
