2018年有意思的几篇GAN论文

Pink 发布于2019-04-25 18:33 / 3352人阅读

摘要：本文介绍了两篇年不仅较先进，而且酷而有趣的两篇论文。这些步骤涉及两个概念，应该更详细地讨论突变和适应度函数。适应度函数在进化算法中，适应度函数告诉我们给定孩子与实现既定目标的距离。这里，适应度函数包括两个元素质量适应得分和多样性健康得分。

本文介绍了两篇2018年不仅较先进，而且酷而有趣的两篇论文。

作者|Damian Bogunowicz

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks：可视化和理解生成性对抗网络 - 考虑到GAN的火热程度，很明显这项技术迟早会在商业上使用。但是，由于我们对其内在机制知之甚少，我认为创建可靠的产品仍然很困难。这项工作帮助我们真正理解与控制GAN。查看他们精彩的互动演示进化的

Evolutionary Generative Adversarial Networks - 这是一篇真正易读且简单易懂的文章。进化算法与GAN一起 - 这一定很酷。

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

论文地址：

https://arxiv.org/pdf/1811.10597.pdf

主要思想

毫无疑问，GAN证明了深度神经网络的强大功能。机器学习能够生成令人惊叹的高分辨率图像，就好像它像我们一样理解世界。但是，就像其他统计模型一样，他们较大的缺陷就是缺乏可解释性。这项研究向理解GAN迈出了非常重要的一步。它允许我们在生成器中找到“负责”生成类别c中某些对象的单元。作者声称，我们可以找到生成器的一层并找到一些单元，它们负责在生成的图像中生成类别c的物体。作者通过引入两个步骤：解剖（Dissection）和干预（Intervention），为每个类别寻找一套“因果”单元。此外，这可能是第一项工作，它为理解GAN的内部机制提供了系统分析。

方法

生成器 G可以被视为潜在向量的映射 ž 到生成的图像 X = G (z) 。我们的目标是了解 r ，一种内部表示，是生成器G的特定层的输出。

X = G(z)= F(r)

我们想检查一下r是否与类别c的对象密切相关。我们知道 r包含有关这些特定对象的生成的编码信息。我们的目标是了解这些信息如何在内部编码。作者声称有一种方法可以从r中提取这些单元，然后负责生成类别c的对象。

问题是，如何进行这种分离？作者提出了两个步骤，即解剖和干预。

解剖 - 我们想要识别我们感兴趣的类，它们具有明确的表示形式 r。这是通过比较两个图像来完成的。我们通过计算x获得第一张图像，然后运行语义分割网络，这将返回像感兴趣的类别的像素位置s_c(x) 。第二张图是通过在特征图上进行上采样，使其维度与x相匹配。然后对其进行阈值处理以确定哪个像素被该特定单元“点亮”。最后我们计算两个输出之间的空间一致性，值越高，说明类别c与该单位因果效应越强。通过对每个单元执行此操作，我们最终可以找出类别c的用r中的单元的显式表示。

干预 - 在这里我们要做的是确定相关的类别。现在，我们试图找到每个类别的较佳分割。这意味着我们一方面消融（抑制）因果单元，希望感兴趣的类别从生成的图像中消失。另一方面，我们放大它们对生成图像的影响，希望在生成的图片中有更多类别c的物体。通过这种方式，我们可以了解它们对感兴趣的类别c的存在有多大贡献。最后，我们将通过类别分割的两张图片进行比较。语义图之间越不像越好。这意味着在一张图像上我们完全“调整”了树木的影响。

实验结果：

a）由Progressive GAN生成的教堂图像，b）给定预先训练的Progressive GAN，我们识别负责生成类“树”的单元，c）我们可以抑制这些单元从图像中“擦除”树... d）放大图像中树木的密度

结果表明，我们正在理解网络的内部概念。这些见解可以帮助我们改善网络的行为。了解图像的哪些特征来自神经网络的哪个部分对于解释，商业使用和进一步研究非常有价值。

a）出于调试目的，我们可以识别引入工件......，b）和c）的那些单元并将它们关闭以“修复”GAN

它可以解决的一个问题是生成不合理的图片。即使是训练的很好的GAN有时也会产生非常不切实际的形象，而这些错误的原因以前是未知的。现在我们可以将这些错误与导致视觉伪像的神经元集相关联。通过识别和抑制这些单元，可以提高生成图像的质量。

通过将一些单位设置为固定的平均值，例如对于门，我们可以确保门将出现在图像的某个位置。当然，这不能违反分布的学习统计数据（我们不能强迫门出现在天空中）。另一个限制来自这样的事实，即某些对象固有地链接到某些位置，因此无法从图像中删除它们。例如：人们不能简单地从会议大厅移去椅子，只能减少它们的密度或大小。

Evolutionary Generative Adversarial Networks

论文链接：

https://arxiv.org/abs/1803.00657

主要思想：

在经典设置中，通过使用反向传播交替更新生成器和鉴别器来训练GAN。这个最小较大博弈是通过利用目标函数中的交叉熵机制来实现的。 E-GAN的作者提出了基于进化算法的替代GAN框架。它们以进化问题的形式重述损失函数。生成器的任务是在鉴别器的影响下经历恒定的突变。根据“适者生存”的原则，人们希望上一代生成器能够以这种方式“发展”，以便学习正确的训练样本分布。

方法：

最初的GAN框架（左）与E-GAN框架（右）。在E-GAN框架中有一群生成器 G θ 在动态环境中发展 - 鉴别者 d 。该算法涉及三个阶段：变化，评估和选择。较好的后代保留下一次迭代。

进化算法试图在给定环境中（这里是鉴别器）发展一群生成器。群体中的每个个体代表生成网络的参数空间中的可能解决方案。演变过程归结为三个步骤：

变化：生成器个体 G θ 生产孩子 G θ 0 ， G θ 1 ， G θ 2 ....通过根据某些突变属性修改自身。

评估：使用适应度函数评估每个孩子，这取决于鉴别器的当前状态

选择：评估每个孩子，并根据适应度函数确定它是否足够好。如果是，则保留，否则将其丢弃。这些步骤涉及两个概念，应该更详细地讨论：突变和适应度函数。

突变 - 这些是在变异步骤中引入孩子的变化。受到原始GAN培训目标的启发。作者区分了三种最有效的突变类型。这些是minmax突变（其促进最小化Jensen-Shannon散度），启发式突变（其添加反向Kullback-Leibler发散项）和最小二乘法突变（受LSGAN启发）。

适应度函数 - 在进化算法中，适应度函数告诉我们给定孩子与实现既定目标的距离。这里，适应度函数包括两个元素：质量适应得分和多样性健康得分。前者确保，发生器产生的输出可以欺骗鉴别器，而后者则注意生成样本的多样性。因此，一方面，教导的后代不仅要接近原始分布，还要保持多样化，避免模式崩溃陷阱。

作者声称他们的方法解决了多个众所周知的问题。 E-GAN不仅在稳定性和抑制模式崩溃方面做得更好，还减轻了仔细选择超参数和架构（对收敛至关重要）的负担。最后，作者声称E-GAN比传统的GAN框架更快收敛。

实验结果：

该算法不仅在合成数据上进行了测试，还对CIFAR-10数据集和Inception得分进行了测试。作者修改了流行的GAN方法，如DCGAN，并在真实数据集上进行了测试。结果表明，可以训练E-GAN从目标数据分布生成各种高质量的图像。根据作者的说法，在每个选择步骤中只保留一个孩子就足以成功地遍历参数空间以达到较佳解决方案。我发现E-GAN的这个属性真的很有趣。此外，通过仔细检查空间连续性，我们可以发现，E-GAN确实学到了从潜在的嘈杂空间到图像空间的有意义的投影。通过在潜在矢量之间插值，我们可以获得生成的图像，其平滑地改变语义上有意义的面部属性。

原文链接：

https://dtransposed.github.io/blog/Best-of-GANs-2018-(Part-1-out-of-2).html

声明：本文版权归原作者所有，文章收集于网络，为传播信息而发，如有侵权，请联系小编及时处理，谢谢！

欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识

QQ群：81035754

服务器托管云服务器 2018年国外vps 2018年数据统计 2018年统计数据 2018年数据挖掘

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4872.html

NVIDIA开源DG-Net：用GAN生成行人图像，淘宝式换衣，辅助行人重识别

摘要：通过生成高质量的行人图像，将其与行人重识别模型融合，同时提升行人生成的质量和行人重识别的精度。若使用这些低质量的行人生成图像来训练行人重识别模型，会引入与原始数据集之间的差异。首次提出了利用生成的图像辅助行人重识别的特征学习。前几天英伟达开源了DG-Net的源码。让我们来回顾一下这篇CVPR19 Oral的论文。论文是英伟达(NVIDIA), 悉尼科技大学(UTS), 澳大利亚国立...

Hanks10100 2019-07-31 11:30 评论0 收藏0
程序员练级攻略（2018）：技术资源集散地

摘要：，美国著名程序员风险投资家博客和技术作家。，从年以来，获奖的计算机科学方面的论文收集。截至年月，已收集超过万篇预印本。其中的分类可以认为也是一个论文的集散地。 showImg(https://segmentfault.com/img/bVbjVFa?w=1142&h=640); 这个是我订阅陈皓老师在极客上的专栏《左耳听风》,我整理出来是为了自己方便学习，同时也分享给你们一起学习，当...

LuDongWei 2019-08-08 10:36 评论0 收藏0
程序员练级攻略（2018）：技术资源集散地

摘要：，美国著名程序员风险投资家博客和技术作家。，从年以来，获奖的计算机科学方面的论文收集。截至年月，已收集超过万篇预印本。其中的分类可以认为也是一个论文的集散地。 showImg(https://segmentfault.com/img/bVbjVFa?w=1142&h=640); 这个是我订阅陈皓老师在极客上的专栏《左耳听风》,我整理出来是为了自己方便学习，同时也分享给你们一起学习，当...

Lorry_Lu 2019-08-02 12:06 评论0 收藏0
CVPR 2018：用GAN预测20年后你长什么样

摘要：年后的你长什么样北京航空航天大学和密歇根州立大学的研究人员设计了一个系统，采用生成对抗网络，可以根据原始照片生成一个人年龄增长后的样子，甚至连发际线逐渐后移也能逼真地模拟。 20年后的你长什么样？北京航空航天大学和密歇根州立大学的研究人员设计了一个AI系统，采用生成对抗网络（GAN），可以根据原始照片生成一个人年龄增长后的样子，甚至连发际线逐渐后移也能逼真地模拟。论文发表在CVPR 2018...

notebin 2019-04-25 18:28 评论0 收藏0
令人拍案叫绝的Wasserstein GAN

摘要：测度是高维空间中长度面积体积概念的拓广，可以理解为超体积。前作其实已经针对第二点提出了一个解决方案，就是对生成样本和真实样本加噪声，直观上说，使得原本的两个低维流形弥散到整个高维空间，强行让它们产生不可忽略的重叠。在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Go...

lieeps 2019-04-25 18:08 评论0 收藏0