摘要：作者在论文中将这种新的谱归一化方法与其他归一化技术，比如权重归一化，权重削减等，和梯度惩罚等，做了比较，并通过实验表明，在没有批量归一化权重衰减和判别器特征匹配的情况下，谱归一化改善生成的图像质量，效果比权重归一化和梯度惩罚更好。
就在几小时前，生成对抗网络（GAN）的发明人Ian Goodfellow在Twitter上发文，激动地推荐了一篇论文：
Goodfellow表示，虽然GAN十分擅长于生成逼真的图像，但仅仅限于单一类型，比如一种专门生成人脸的GAN，或者一种专门生成建筑物的GAN，要用一个GAN生成ImageNet全部1000种类的图像是不可能的。但是，这篇ICLR论文做到了。
是什么论文这么厉害？
点开链接，可以看到Ian Goodfellow更加热情的赞美：
这是一篇很棒的论文！
这是一篇很棒的论文！我认为这篇论文没有充分说明它结论的重要性，我担心仅仅浏览摘要会让人错过这项突破。
“我们在CIFAR10，STL-10和ILSVRC2012数据集上测试了谱归一化的功效，通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN，谱归一化GAN（SN-GAN）能够生成质量相同乃至更好的图像。”这个描述太低调了，这篇论文展现了在ILSVRC2012数据集上的一个超大的飞跃。
在这篇论文之前，仅有一种GAN在ILSVR2012数据集上表现很好，那就是AC-GAN。但AC-GAN实际上有点作弊，因为它把ImageNet分成了100个更小的数据集，每个数据集仅含10个种类的数据。新的SN-GAN是第一个用一种GAN就覆盖ImageNet全部1000种类数据的GAN变体。
将GAN扩展到更大的种类上面去一直以来都没有得到很好解决，现在这篇论文为我们带来了10倍的飞跃。
生成对抗网络的谱归一化，稳定判别器训练
看上去真的很厉害的样子。虽然Goodfellow说仅仅浏览摘要无法充分体会这篇论文的好，但是我们还是从摘要开始看起：
题目：生成对抗网络的谱归一化
摘要：生成对抗网络的研究面临的挑战之一是其训练的不稳定性。在本文中，我们提出了一种叫做“谱归一化”（spectral normalization）的新的权重归一化（weight normalization）技术，来稳定判别器的训练。这种新归一化技术计算轻巧，易于并入现有的部署当中。我们在CIFAR10，STL-10和ILSVRC2012数据集上测试了谱归一化的功效，通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN，谱归一化GAN（SN-GAN）能够生成质量相同乃至更好的图像。
简单说，论文提出了一种新的权重归一化方法，用于稳定判别器的训练。作者在论文中写道，他们的归一化方法需要调整的超参数只要一个，就是Lipschitz常数，而且即使不调整这个超参数，也能获得满意的性能。此外，算法实现简单，额外的计算成本很小。
作者在论文中将这种新的“谱归一化”方法与其他归一化技术，比如权重归一化（Salimans＆Kingma，2016）、权重削减clipping（Arjovsky等，2017）和梯度惩罚gradient penalty（Gulrajani等，2017）做了比较，并通过实验表明，在没有批量归一化、权重衰减和判别器特征匹配的情况下，谱归一化改善生成的图像质量，效果比权重归一化和梯度惩罚更好。
第一个成功应用于ImageNet全部1000个类别的GAN变体
最后，来看让Ian Goodfellow觉得没有充分强调的部分。
在论文的4.2这节，作者简单描述了他们的方法在ImageNet训练的情况，如作者所写，“我们将我们的方法应用于ILRSVRC2012数据集，训练类别conditional GANs……我们的SN-GAN是所有方法中训练成功了的，据我们所知，这也是首次用单对判别器和生成器从ImageNet数据集生成不错图像的尝试”。
论文地址：https://openreview.net/pdf?id=B1QRgziT-
OpenReview：https://openreview.net/forum?id=B1QRgziT-
P.S. 希望Ian Goodfellow的推荐不要让这篇论文“过火”才好……
欢迎加入本站公开兴趣群商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4666.html
摘要：文本谷歌神经机器翻译去年，谷歌宣布上线的新模型，并详细介绍了所使用的网络架构循环神经网络。目前唇读的准确度已经超过了人类。在该技术的发展过程中，谷歌还给出了新的，它包含了大量的复杂案例。谷歌收集该数据集的目的是教神经网络画画。 1. 文本1.1 谷歌神经机器翻译去年，谷歌宣布上线 Google Translate 的新模型，并详细介绍了所使用的网络架构——循环神经网络（RNN）。关键结果：与...
摘要：然而，对于广大工程人员而言，应用新技术仍存在挑战，谷歌最近开源的库解决了这个问题。为使开发者更轻松地使用进行实验，谷歌最近开源了，一个实现轻松训练和评估的轻量级库。 生成对抗网络（GAN）自被 Ian Goodfellow 等人提出以来，以其优异的性能获得人们的广泛关注，并应用于一系列任务中。然而，对于广大工程人员而言，应用新技术仍存在挑战，谷歌最近开源的 TFGAN 库解决了这个问题。项目...
摘要：我仍然用了一些时间才从神经科学转向机器学习。当我到了该读博的时候，我很难在的神经科学和的机器学习之间做出选择。 1.你学习机器学习的历程是什么？在学习机器学习时你最喜欢的书是什么？你遇到过什么死胡同吗？我学习机器学习的道路是漫长而曲折的。读高中时，我兴趣广泛，大部分和数学或科学没有太多关系。我用语音字母表编造了我自己的语言，我参加了很多创意写作和文学课程。高中毕业后，我进了大学，尽管我不想去...
摘要：在这项工作中，我们提出了自注意力生成对抗网络，它将自注意力机制引入到卷积中。越高，表示图像质量越好。表将所提出的与较先进模型进行比较，任务是上的类别条件图像生成。 图像合成（Image synthesis）是计算机视觉中的一个重要问题。随着生成对抗网络（GAN）的出现，这个方向取得了显著进展。基于深度卷积网络的GAN尤其成功。但是，通过仔细检查这些模型生成的样本，可以观察到，在ImageNe...
摘要：就在最近，这项技术在流行地无监督学习数据集上实现了非常好的结果。虽然这项工作并不针对无监督学习，但是它可以用作无监督学习。利用替代类别的无监督学习视觉表征使用图像不行来创建非常大的替代类。 如今深度学习模型都需要在大规模的监督数据集上训练。这意味着对于每一个数据，都会有一个与之对应的标签。在很流行的 ImageNet 数据集中，其共有一百万张带人工标注的图片，即 1000 类中的每一类都有 ...
阅读 874·2021-09-26 09:55
阅读 3389·2021-09-24 10:30
阅读 1159·2021-09-08 09:36
阅读 2242·2021-09-07 09:58
阅读 391·2019-08-30 15:56
阅读 655·2019-08-29 18:32
阅读 3349·2019-08-29 15:13
阅读 1740·2019-08-29 13:49
