摘要：第一层的输入为统一噪声分布，由于其操作仅仅为矩阵乘法，可以看做是一个全连接层。一个维的统一分布被映射到具有多个特征图的小空间范围卷积表示。对抗性训练细节我们在三个数据集上训练，即大规模风景数据集和一个新装配的人脸数据集。
论文题目：Unsupervised representation learning with deep convolutional generative adversarial networks
Torch地址：https://github.com/pytorch/examples/tree/master/dcgan
摘要：近年来，基于卷积神经网络 (CNN) 的监督学习广泛应用于计算机视觉领域。然，无监督CNN却鲜有关注。本文希冀在无监督学习和有监督学习之间建立CNN桥梁，并引入深度卷积生成对抗 (deep convolutional generative adversarial networks)类的CNN网络 (DCGANs)，其包含某些架构限制 (certain architectural constraints)，且被证明是无监督学习的种子选手。实验在多类数据集上进行，结果表明我们的生成器 (generator)和鉴别器 (discriminator) 能够学习到从对象部分至场景的表示层次结构 (a hierarchy of representations)。此外，我们将学习到的特征用于新任务，以证明它们作为一般图像表示的适用性。
Bib格式：
@misc{Radford:2016:unsupervised, title = {Unsupervised representation learning with deep convolutional generative adversarial networks}, author = {Alec Radford and Luke Metz and Soumith Chintala}, year = {2016},} 本方法的核心是采用并修改三个最近展示的、对CNN架构的更改：
1）第一个是全卷积网络(all convolutional net)，其使用步幅卷积 (strided convolutions) 来代替确定性空间池池化函数 (deterministic spatial pooling functions) (如maxpooling)，允许网络学习自己的空间下采样 (spatial upsampling) 和鉴别器 (discriminator)。
2）第二个是倾向于在最顶层的卷积后面消除全连接层。一个强有力的例子是全局平均池化 (global average pooling)，其被用于最先进的艺术图像分类模型中。尽管该技术可以增强模型的稳定性，却降低了其收敛速度 (convergence speed)。在最高卷积特征 (highest convolutional features) 的中间地带，直接连接生成器 (generator)的输入与鉴别器 (discriminator)的输出也能做得很好。GAN第一层的输入为统一噪声分布 (uniform noise distribution ) Z Z Z，由于其操作仅仅为矩阵乘法，可以看做是一个全连接层。该层的输出将被重组为一个 4 4 4维张量，并作为卷积堆叠 (convolution stack)的起始。对于鉴别器，其最后一个卷积层是平整的并传递给一个单个sigmoid函数。模型的具体架构如下图：
图1：用于LSUN风景模型的DCGAN生成器。一个 100 100 100维的统一分布 Z Z Z被映射到具有多个特征图 (feature maps) 的小空间范围卷积表示 (small spatial extent convolutional representation)。然后一连串的四微步卷积 (four fractionally-strided convolution) (一些文章中将其错误的称之为反卷积 (deconvolutions)) 将这些高级表示 (high level representation) 转换为 64 × 64 64/times64 64×64的像素图。值得一提的是，本网络没有使用任何全连接层或者池化层。
3）第三个是批量归一化 (batch normalization)，其将每个单元的输入归一化，使其均值为 0 0 0和单位方差，以稳定学习。这有助于处理由于初始化不佳而产生的训练问题，及有助于更深层次模型中的梯度流 (gradient flow)。这被证明是让深层生成器开始学习的关键，防止生成器将所有样本被折叠为一个单点。然而，直接运用批量归一化到所有网络层，将导致样本震荡 (sample oscillation) 和模型失稳 (model instability)。解决措施则是不将该层运用于生成器的输出和鉴别器的输入层。
生成器的输出层使用Tanh函数，余下层则使用ReLU函数。我们观察到，使用有界限的激活函数可以允许模型更快地达到学习饱和，并覆盖训练分布 (training distribution) 的颜色空间 (color space)。在鉴别器中，我们发现leaky激活函数可以工作的很好，尤其在更高分辨率建模 (higher resolution modeling)。这与最初的GAN文章形成对比，其使用maxout函数。
稳定的深度卷积GANs的架构指南如下：
1）鉴别器使用步幅卷积，生成器使用微步幅卷积；
2）鉴别器和生成器上均使用批量归一化；
3）去除全连接隐藏层；
4）生成器的输出层使用Tanh，余下使用ReLU；
5）辨别器均使用LeakyReLU。
我们在三个数据集上训练DCGANs，即大规模风景数据集 (large-scale scene understanding (LSUN))、Imagenet- 1 1 1k和一个新装配的人脸数据集。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/123312.html
摘要：在这里汇总了一个现在和经常使用的论文，所有文章都链接到了上面。如果你对感兴趣，可以访问这个专题。作者微信号简书地址是一个专注于算法实战的平台，从基础的算法到人工智能算法都有设计。加入实战微信群，实战群，算法微信群，算法群。 作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/b7f... sh...
摘要：生成对抗网络的各种变体非常多，的发明者在上推荐了这份名为的各种变体列表，这也表明现在确实非常火，被应用于各种各样的任务。了解这些各种各样的，或许能对你创造自己的有所启发。这篇文章列举了目前出现的各种变体，并将长期更新。 生成对抗网络（GAN）的各种变体非常多，GAN 的发明者 Ian Goodfellow 在Twitter上推荐了这份名为The GAN Zoo的各种GAN变体列表，这也表明现...
摘要：毕设做的是的相关研究，翻过一些资料，在此做个汇总。深度学习的介绍性文章，可做入门材料。可以当作深度学习的学习材料。一份训练的较佳实践。阐述了非监督预训练的作用。这篇博客给出的材料更加全面，作者来自复旦大学，现似乎是在北京研究院工作。 毕设做的是DBNs的相关研究，翻过一些资料，在此做个汇总。 可以通过谷歌学术搜索来下载这些论文。 Arel, I., Rose,...
摘要：就在最近，这项技术在流行地无监督学习数据集上实现了非常好的结果。虽然这项工作并不针对无监督学习，但是它可以用作无监督学习。利用替代类别的无监督学习视觉表征使用图像不行来创建非常大的替代类。 如今深度学习模型都需要在大规模的监督数据集上训练。这意味着对于每一个数据，都会有一个与之对应的标签。在很流行的 ImageNet 数据集中，其共有一百万张带人工标注的图片，即 1000 类中的每一类都有 ...
摘要：对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起这是一个亘古不变的话题。接下来的论文将带你深入理解深度学习方法深度学习在前沿领域的不同应用。 对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起？这是一个亘古不变的话题。而对那些已经入门的同学来说，了解一下不同方向的论文，也是不时之需。有没有一份完整的深度学习论文导引，让所有人都可以在里面找到想要的内容呢？有！今天就给...
阅读 1185·2021-11-22 15:25
阅读 3148·2021-11-16 11:44
阅读 3403·2021-11-15 11:38
阅读 3189·2021-10-21 09:38
阅读 1411·2021-10-19 13:21
阅读 3681·2021-09-14 17:57
阅读 781·2021-09-06 15:00
阅读 1523·2019-08-30 15:44
