摘要：深度神经网络还不清楚如何来检测参议员投票数据集中的关键影响者。目前还不清楚如何用深度神经网络技术来推断不在视频中的投球手的存在。深度神经网络在高维特征的处理上很糟糕，这一点不像算法强健的随机森林，它需要重度调参。
1/ 深度学习做不了什么？这值得我们列一个清单，把尝试过的失败总结出来，以更好地指导算法开发。
2/ 对于输入数据的细微抖动，深度学习就会出现算法失效的情况。想象一下，当颜色互换时，目标识别系统的崩溃程度。
3/ 基于梯度的学习相当缓慢，算法需要下降很多很多的梯度才能学会模式，用于高维预测则相当艰难。
4/ 深度学习在处理约束条件方面表现很差。不同于线性规划，深度学习不容易找到能满足约束条件的解决方案。
5/ 复杂模型的训练很不稳定。神经图灵机和生成式对抗网络训练起来很难，它们过于依赖随机函数的初始化。
6/ 不像图形模型，深度网络不擅长跟真实世界建立联系，无法提取出因果模型。
7/ 比如，要考虑关键影响者的监测问题。深度神经网络还不清楚如何来检测参议员投票数据集中的关键影响者。
8/ 强化学习方法过于挑剔。其性能太过依赖于调参技巧，尽管这一问题是特有的。
9/ 深度学习无法对未知的实体进行推断。考虑棒球赛的场景：屏幕上的击球手与屏幕外的投球手。
10/ 目前还不清楚如何用深度神经网络技术来推断不在视频中的投球手的存在。
11/ 在线训练深度网络是不可能的，文章一开始就提到了训练缓慢的问题，因而动态反应很难实现。
12/ 一般来说，智能行为的训练只能离线进行。
13/ 人们经常提及深度网络的可解释性问题。我个人认为该问题远没有人们所想的那样严重。
14/ 但是，对深度网络进行审查也相当困难。我们如何才能确保偏见、种族主义不被深度学习学会？请参考word2vec的种族主义文章。
15/ 深度神经网络不能简单用来解决逻辑问题。3SAT求解器是有很强的能力，但很难被部署到深度网络内。
16/ 深度神经网络在高维特征的处理上很糟糕，这一点不像算法强健的随机森林，它需要重度调参。
17/ 超参数搜索依旧很难用。从业者需要处理繁重的计算，或者对架构作大量的手工调整。
18/ 这不是一份详尽的问题列表。上述问题都值得进一步思考与深入研究。
19/ 其中至关重要的一点是：到底这些难题是深度网络所固有的缺陷？还是属于我们要在工程上去克服的挑战？
20/ 说实话，这很难回答。其中一些问题可能被很快解决。如部署更多的硬件，就有可能实现自动化超参数搜索。
21/ 在架构方面，还有一些自动归一化和处理高维数据的早期尝试，所以特征处理也有可能得到改善。
22/ 然而，逻辑、约束条件、隐藏结构和审查方面的问题，则要隐藏得更深。
23/ 不过我更希望被打脸，深度学习领域的人们往往天赋异禀，且极具想象力。
24/ 此外，GPU版的摩尔定律依然在起作用（至于说能持续多久，TPU和定制硬件是否真能帮我们解决问题，只有到时候才能知道了）。
25/ 所以，我对这些挑战持相对乐观的态度。尽管如此，我还是怀疑深度网络不足以实现通用人工智能。
26/ 当然这可能是我个人的偏见。专家们在技术细节上研究多了，往往会在预测大局上表现拙劣。
27/ 从而导致我一叶障目，不见泰山。
28/ 我在拼命抑制把这推文风暴写成正式文章的冲动。毕竟，我不知道是否还存在未能触及的潜在话题。
29/ 最后，这里的探索和分析就先留给那些有心的读者来做练习。
说明：本文是我一次推文风暴的改编和展开。感谢在Twitter上评论过我的那些人，他们在我最初的思路上给出了很多有意思的见解。
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4562.html
摘要：我认为对机器学习开发者来说，是一个了不起的工具集。这个帖子发出后得到了很多机器学习研究者和开发者的关注，他们纷纷跟贴谈论自己的想法和经验不只是关于和，讨论中还涉及到更多工具。 Theano、TensorFlow、Torch、MXNet 再到近日比较热门的 PyTorch 等等，深度学习框架之间的比较一直以来都是非常受人关注的热点话题。机器之心也曾发表过多篇相关的介绍和对比文章，如《主流深度学...
摘要：在普通的全连接网络或中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络。不难想象随着深度学习热度的延续，更灵活的组合方式更多的网络结构将被发展出来。 从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。这里的DNN特指全连接...
摘要：注意目前发现有其他人以团队名义进行招聘，发出的邮箱皆为私人邮箱。为防止在投递简历出现误会，在此提醒各位注意团队没有以任何个人名义或邮箱进行招聘。的面试过程我们一般会有轮面试，对于高级别的工程师可能会有轮面试。 fex-team/interview-questions 注意 目前发现有其他人以 FEX 团队名义进行招聘，发出的邮箱皆为私人邮箱。 为防止在投递简历出现误会，在此提醒各位注意...
摘要：注意目前发现有其他人以团队名义进行招聘，发出的邮箱皆为私人邮箱。为防止在投递简历出现误会，在此提醒各位注意团队没有以任何个人名义或邮箱进行招聘。的面试过程我们一般会有轮面试，对于高级别的工程师可能会有轮面试。 fex-team/interview-questions 注意 目前发现有其他人以 FEX 团队名义进行招聘，发出的邮箱皆为私人邮箱。 为防止在投递简历出现误会，在此提醒各位注意...
摘要：注意目前发现有其他人以团队名义进行招聘，发出的邮箱皆为私人邮箱。为防止在投递简历出现误会，在此提醒各位注意团队没有以任何个人名义或邮箱进行招聘。的面试过程我们一般会有轮面试，对于高级别的工程师可能会有轮面试。 fex-team/interview-questions 注意 目前发现有其他人以 FEX 团队名义进行招聘，发出的邮箱皆为私人邮箱。 为防止在投递简历出现误会，在此提醒各位注意...
阅读 1301·2021-11-19 09:40
阅读 3245·2021-11-19 09:40
阅读 3448·2021-11-11 16:54
阅读 2150·2021-10-12 10:12
阅读 666·2019-08-29 17:25
阅读 2621·2019-08-29 17:24
阅读 2990·2019-08-29 17:19
阅读 1682·2019-08-29 15:39
