计算机视觉 | 面试题：09、深度学习中有很多优化函数，常见的那些你还记得它的定义以及优缺点吗？

jhhfft 发布于2021-09-10 10:50 / 2091人阅读

摘要：问题深度学习中有很多优化函数，常见的那些你还记得它的定义以及优缺点吗背景知识深度学习网络训练中，有很多可供选择的优化函数如等等，到底用哪个好呢其实这个问题没有确切的答案，优化函数是需要配合损失函数使用的，说白了，优化函

问题

深度学习中有很多优化函数，常见的那些你还记得它的定义以及优缺点吗？

背景知识

深度学习网络训练中，有很多可供选择的优化函数如SGD、Adam等等，到底用哪个好呢？其实这个问题没有确切的答案，优化函数是需要配合损失函数使用的，说白了，优化函数也是一种超参数，是需要尝试的，哪个效果好就用哪个……

这些优化函数其实差别不大，都是基于一个基本框架来演进的，所以下面先介绍下优化算法的基本框架：

１、优化算法基本框架

（记住这个框架！！！）

假设当前时刻待优化的参数为 $/theta_t$

超融合服务器服务器托管深度学习要学习那些常见深度学习深度学习要学那些 linux的面试题

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/119791.html

2017暑期实习面试总结（前端方向）

摘要：的暑期实习面试到现在差不多都结束了，算下来自己也投了十几家简历，经历的差不多十场笔试，现场和电话面试也差不多有五六家公司。阿里三面三面不知道是不是交叉面，不过这次面试面试官说他是北京的之前都是杭州。 2017的暑期实习面试到现在差不多都结束了，算下来自己也投了十几家简历，经历的差不多十场笔试，现场和电话面试也差不多有五六家公司。虽然最后只拿到两个offer，所幸是自己期待的公司，下面从...

phoenixsky 2019-08-05 11:11 评论0 收藏0
2017暑期实习面试总结（前端方向）

摘要：的暑期实习面试到现在差不多都结束了，算下来自己也投了十几家简历，经历的差不多十场笔试，现场和电话面试也差不多有五六家公司。阿里三面三面不知道是不是交叉面，不过这次面试面试官说他是北京的之前都是杭州。 2017的暑期实习面试到现在差不多都结束了，算下来自己也投了十几家简历，经历的差不多十场笔试，现场和电话面试也差不多有五六家公司。虽然最后只拿到两个offer，所幸是自己期待的公司，下面从...

worldligang 2019-08-20 16:13 评论0 收藏0
前端面试题总结（js、html、小程序、React、ES6、Vue、算法、全栈热门视频资源）

摘要：并总结经典面试题集各种算法和插件前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快速搭建项目。本文是关注微信小程序的开发和面试问题，由基础到困难循序渐进，适合面试和开发小程序。并总结vue React html css js 经典面试题集各种算法和插件、前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快...

pumpkin9 2019-08-23 17:12 评论0 收藏0
前端面试题总结（js、html、小程序、React、ES6、Vue、算法、全栈热门视频资源）

摘要：并总结经典面试题集各种算法和插件前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快速搭建项目。本文是关注微信小程序的开发和面试问题，由基础到困难循序渐进，适合面试和开发小程序。并总结vue React html css js 经典面试题集各种算法和插件、前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快...

Tychio 2019-08-05 16:51 评论0 收藏0
前端面试题总结（js、html、小程序、React、ES6、Vue、算法、全栈热门视频资源）

摘要：并总结经典面试题集各种算法和插件前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快速搭建项目。本文是关注微信小程序的开发和面试问题，由基础到困难循序渐进，适合面试和开发小程序。并总结vue React html css js 经典面试题集各种算法和插件、前端视频源码资源于一身的文档，优化项目，在浏览器端的层面上提升速度，帮助初中级前端工程师快...

Carson 2019-07-31 10:21 评论0 收藏0