摘要：进一步说，如果承认深度学习系统在解决问题时不可思议的表现，那么大数据和深度学习，都有某种蛮力的味道。不过，我自己并不同意深度学习必须等同于机器蛮力。
Facebook去年底挖来了一个机器学习大神Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父，他出生于俄罗斯，1990年底移居美国，在美国贝尔实验室一直工作到2002年，之后加入了普林斯顿的NEC实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2014年，Vladimir Vapnik加入Facebook人工智能实验室。
Vladimir Vapnik
近日，Vladimir在俄罗斯较大的搜索引擎公司Yandex的大会上发表了讲话，重点讨论了深度学习是否以蛮力取胜。来自加利福尼亚大学圣地亚哥分校的Zachary Chase Lipton博士详细记录了会议内容，并整理成了文章：
上周，我来到柏林参加机器学习展望和应用大会。这个大会由Yandex举办，主要谈了Deep Learning和Intelligent Learning两个问题，它们经常作为对比的概念出现。
虽然我自己也是演讲者之一，但是整个会议的高潮部分，还是关于深度学习的方法论，其中经验主义和数学推理中的矛盾部分。
第一条是关于深度学习，讨论的是背后的数学支撑，以及未来的方向。问题包括了模型的可解释性和医疗领域的应用。到了周三晚上，Vladimir Vapnik也参与了讨论，说的是知识如何在不同的个体之间传递。Vladimir的哲学观横跨了机器学习、数学和智能的源头，并且挑战了深度学习的方法论，这很有争议。
其实在今年夏天，我就写文章说机器学习的成功是大数据时代经验主义的胜利。在里面我强调说，过度去拟合数据，虽然能在真实数据中得到检验，但里面会有很大风险，至少比基于数学推理建立的系统风险大得多。在这次会议中，我听到了Vladimir在这方面的观点。
为了避免混淆视听，我得强调：我是一个深度学习的实践者。我个人并不否认深度学习，而且对它的先行者和火炬手充满尊敬。但我也同样相信，我们应该对深度学习的可能性抱有开放性的态度：
即会有一些数学模型，能够更好的指明未来发展方向，开启新的方法论。
很显然，当我们去咀嚼和消化这些观点的时候，能够得到很大的价值。
大数据与深度学习是一种蛮力？
尽管Vapnik当场说了很多观点，但是最核心的还是援引了爱因斯坦关于上帝的隐喻。简单的说，Vapnik假设了一个理论：想法和直觉要么来自上帝，要么出自魔鬼。而区别在于，上帝是智慧的，而魔鬼往往不是。
在作为数学家和机器学习研究和践行者的生涯中，Vapnik得出了一个结论：魔鬼往往来自于蛮力（Brute Force）。进一步说，如果承认深度学习系统在解决问题时不可思议的表现，那么大数据和深度学习，都有某种蛮力的味道。
不过，我自己并不同意深度学习必须等同于机器蛮力。我们如今也能看到对于大数据的观点争论，其中Vapnik和Nathan Intrator教授就说：小孩不需要几亿的标签样本以完成学习。虽然有大量带有标签的数据时，学习会成为一件比较容易的事，但如果依赖这样的方法，我们就错失了自然界中关于学习的基本原理。
也许，真正的学习只需要数百样本，而我们现在却只有非常大的数据量才能完成学习。如果我们不去探寻学习的本质，那就是在屈从于懒惰。
我们现在的深度学习并非科学。确切的说，机器学习和核心任务是理解计算本身，而现在的方法和它有所背离。这就好比任务是制造小提琴，而我们扮演的角色不过是小提琴演奏者，虽然也能创作美妙的音乐，也有演奏的直觉，但我们并不知道小提琴如何创造出音乐。
进一步说，很多深度学习实践者，他们对数据和工程有很好的感觉，但其实不知道这里头是怎么回事。所以在目前的深度学习方法中，参数的调节方法依然是一门“艺术”，而非“工艺”。
在算法和模型上，我们是否能发明所有东西？
Vapnik认为，在机器学习的算法和模型上，我们并不能发明所有东西。他坚持说，他自己并没有如此的聪明才智，以完成这些算法模型的发明。（这似乎也在暗示，其他人也没有那么聪明，去发明这些玩意）
按照Vapnik的意思，我们在机器学习上发明的东西是微不足道的。真正重要的东西，来自于我们对数学本质的理解。就深度学习来说，模型经常被发明出来、品牌化并申请专利，但这些相比于真正由数学驱动的机器学习，就显得很一般了。
关于深度学习的反思，来自纽约州立大学的顾险峰教授也有很多理解。顾险峰认为，深度学习方法深刻地转变了学术研究的范式。以前学者们所采用的观察现象，提炼规律，数学建模，模拟解析，实验检验，修正模型的研究套路被彻底颠覆，被数据科学的方法所取代：收集数据，训练网络，实验检验，加强训练。
在深度学习新方法下，严格的数学推理缺失了。比如说地图四色定理的证明，数学家将平面图的构型分成1936种，然后用计算机逐一验证。当然在足够的算力下，这可以证明地图四色定理。但是在这个过程中，没有新颖概念提出，换言之，机械蛮力代替了几何直觉。
而在数学历史上，对于一个著名猜想的证明和解答，答案本身也许并不重要，在寻找证明的过程中所凝练的概念，提出的方法，发展的理论才是真正目的所在。机械定理证明验证了命题的真伪，但是无法明确地提出新的概念和方法，实质上背离了数学的真正目的。
所以说，这是一种“相关性”而非“因果性”的科学。历史上，人类积累科学知识，在初期总是得到“经验公式”，但是最终还是寻求更为深刻本质的理解。例如从炼丹术到化学、量子力学的发展历程。
人类智能更为独特之处也在于数学推理，特别是机械定理证明，对于这一点，机器学习方法是无能为力的。当人的数学推理缺失的时候，仅仅依靠机器蛮力，就会遇到很大制约。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4325.html
摘要：大数据与深度学习是一种蛮力尽管当场说了很多观点，但是最核心的还是援引了爱因斯坦关于上帝的隐喻。大数据与深度学习是一种蛮力在算法和模型上，我们是否能发明所有东西认为，在机器学习的算法和模型上，我们并不能发明所有东西。 Facebook去年底挖来了一个机器学习大神Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父，他出生...
摘要：第一条是关于深度学习的晚宴，讨论的是背后的数学支撑，以及未来的方向。大数据与深度学习是一种蛮力尽管当场说了很多观点，但是最核心的还是援引了爱因斯坦关于上帝的隐喻。不过，我自己并不同意深度学习必须等同于机器蛮力。 Vladimir Vapnik 介绍：Vladimir Vapnik 被称为统计学习理论之父，他出生于俄罗斯，1990 年底移居美国，在美国贝尔实验室一直工作到 2002 年，之后加...
摘要：主流机器学习社区对神经网络兴趣寡然。对于深度学习的社区形成有着巨大的影响。然而，至少有两个不同的方法对此都很有效应用于卷积神经网络的简单梯度下降适用于信号和图像，以及近期的逐层非监督式学习之后的梯度下降。 我们终于来到简史的最后一部分。这一部分，我们会来到故事的尾声并一睹神经网络如何在上世纪九十年代末摆脱颓势并找回自己，也会看到自此以后它获得的惊人先进成果。「试问机器学习领域的任何一人，是什...
摘要：团队或身边中大多数人都在问这问题怎么办，而总是你能站出来告诉大家这事该怎么办被人所依赖。团队或身边中大多数人在做比较关键的决定时，都会来找你咨询你的意见和想法。比如，或的某个高级工程师，可能就对应于阿里的甚至更高。 文章来源 | 酷壳 作者 | 陈皓 技术圈中的很多人，最初都坚定地认为 coding 能改变世界。然而三五年过去后，还能不忘初心的人，少之又少。 随着年龄的增长，梦想已被束...
摘要：本文介绍了包括等在内的一系列编程语言的深度学习库。是一个部署在编程语言中的深度学习工具包，用于通过高效的算法处理大型文本集。是公司基于开发的深度学习框架。是第一个为和编写的消费级开元分布式深度学习库。 本文介绍了包括 Python、Java、Haskell等在内的一系列编程语言的深度学习库。PythonTheano 是一种用于使用数列来定义和评估数学表达的 Python 库。它可以让 Pyt...
阅读 2454·2023-04-25 14:15
阅读 2397·2021-11-04 16:11
阅读 3204·2021-10-14 09:42
阅读 291·2019-08-30 15:52
阅读 2684·2019-08-30 14:03
阅读 3408·2019-08-30 13:00
阅读 1989·2019-08-26 11:40
阅读 3156·2019-08-26 10:25
