[论文阅读] Variational Adversarial Active Learning

church 发布于2021-09-28 09:35 / 2962人阅读

摘要：论文地址代码发表于主动学习的目的是通过对最有代表性的查询进行采样，由专家进行标注，从而开发出高效标签的算法。本文所用的为，其目标函数可以表示如下其中和分别表示与，为优化问题的拉格朗日参数。

论文地址：https://arxiv.org/abs/1904.00370
代码：https://github.com/sinhasam/vaal
发表于：ICCV’19

Abstract

主动学习的目的是通过对最有代表性的查询进行采样，由专家进行标注，从而开发出高效标签的算法。我们描述了一种基于池的半监督主动学习算法，它以对抗的方式隐式地学习了这种采样机制。与传统的主动学习算法不同，我们的方法是与任务无关的，也就是说，它不依赖于我们试图获取标注数据的任务的性能。我们的方法使用变分自编码器(VAE)和训练好的对抗网络来学习潜在空间，以区分未标注和标注的数据。VAE和对抗网络之间的最大最小博弈是这样进行的：VAE试图欺骗对抗网络去预测，所有的数据点都来自已标注池；对抗网络则学习如何区分潜在空间中的不相似性。我们在各种图像分类和语义分割基准数据集上广泛评估了我们的方法，并在CIFAR10/100、Caltech-256、ImageNet、Cityscapes和BDD100K上建立了新的SOTA。我们的结果表明，我们的对抗性方法在大规模环境中学习了一个有效的低维潜在空间，并提供了一个计算效率高的采样方法。

I. Motivation

核心思想：利用VAE对已标注的数据和未标注的数据进行编码。因此，对于一个未标注的数据，如果其编码向量与潜在空间中向量的差异足够大，那么我们就认为该样本是有价值的。

而对于样本的选择，是通过一个对抗网络来实现的，该对抗网络被用来区分一个样本是已标注还是未标注。因此实际上上文的VAE还有一个额外的任务，即他的编码要让判别器难以区分已经标注还是没有标注。

本文的最大特点就是没有去利用公式来显式地去定义不确定性。此外，也研究了噪声标注鲁棒性的问题。接下来，本文将分析VAAL的详细流程。

II. Transductive representation learning

本文所用的VAE为Wasserstein Autoencoder，其目标函数可以表示如下： $/mathcal{L}_{/mathrm{VAE}}^{t r d}=& /mathbb{E}/left[/log p_{/theta}/left(x_{L} /mid z_{L}/right)/right]-/beta /mathrm{D}_{/mathrm{KL}}/left(q_{/phi}/left(z_{L} /mid x_{L}/right) /| p(z)/right) // &+/mathbb{E}/left[/log p_{/theta}/left(x_{U} /mid z_{U}/right)/right]-/beta /mathrm{D}_{/mathrm{KL}}/left(q_{/phi}/left(z_{U} /mid x_{U}/right) /| p(z)/right) /end{aligned}$ 其中 $q_{/phi}$ 和 $p_{/theta}$ 分别表示encoder与decoder， $β$ 为优化问题的拉格朗日参数。

抛开公式不谈，由于本文VAE是同时学了已标注池与未标注池的信息，因此可以补充到已标注池中所缺失的表征。

III. Adversarial representation learning

由于VAE学到的特征既包含已标注图像的也包含未标注图像的，因此，我们就得想办法去找出里面那些属于未标注图像的特征来。

对于VAE而言，其在同一潜在空间里有两个概率分布：
$q_{/phi}/left(z_{L} /mid x_{L}/right)$ $q_{/phi}/left(z_{U} /mid x_{U}/right)$

相应的，GAN的目标函数为： $/mathcal{L}_{D}=-/mathbb{E}/left[/log /left(D/left(q_{/phi}/left(z_{L} /mid x_{L}/right)/right)/right)/right]-/mathbb{E}/left[/log /left(1-D/left(q_{/phi}/left(z_{U} /mid x_{U}/right)/right)/right)/right]$

最终整个网络的训练流程如下：

输入 已标注池 $X_{L},Y_{L})$ ，未标注池 $X_{U})$ ，初始化任务模型(分类模型，分割模型等) $/theta_{T}$ ，变分自编码器
$/theta_{VAE}$ ，判别器 $/theta_{D}$
超参数 迭代次数epochs，损失函数参数 $λ$ 以及学习率 $α$
对于每个epoch：
step 1 从已标注池中采样 $x_{L},y_{L})$ ，从未标注池中采样 $x_{U})$
step 2 计算VAE的训练损失 $/mathcal{L}_{/mathrm{VAE}}^{t r d}$
step 3 计算VAE的对抗损失 $/mathcal{L}_{/mathrm{VAE}}^{a d v}$
step 4 加权得到VAE的最终损失 $/mathcal{L}_{/mathrm{VAE}}$ ，并相应地更新VAE的模型参数
step 5 计算判别器的损失 $/mathcal{L}_{/mathrm{D}}$
step 6 更新判别器的模型参数
step 7 训练任务模型T，这一部分详细过程省略

IV. Sampling strategies

本文的采样策略如下：

超融合服务器私有云 active Active MQ active控件 active接口调用

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/121386.html

GAN 论文大汇总

摘要：在这里汇总了一个现在和经常使用的论文，所有文章都链接到了上面。如果你对感兴趣，可以访问这个专题。作者微信号简书地址是一个专注于算法实战的平台，从基础的算法到人工智能算法都有设计。加入实战微信群，实战群，算法微信群，算法群。作者：chen_h微信号 & QQ：862251340微信公众号：coderpai简书地址：https://www.jianshu.com/p/b7f... sh...

lifesimple 2019-07-30 15:17 评论0 收藏0
GAN动物园——GAN的各种变体列表

摘要：生成对抗网络的各种变体非常多，的发明者在上推荐了这份名为的各种变体列表，这也表明现在确实非常火，被应用于各种各样的任务。了解这些各种各样的，或许能对你创造自己的有所启发。这篇文章列举了目前出现的各种变体，并将长期更新。生成对抗网络（GAN）的各种变体非常多，GAN 的发明者 Ian Goodfellow 在Twitter上推荐了这份名为The GAN Zoo的各种GAN变体列表，这也表明现...

tianyu 2019-04-25 18:12 评论0 收藏0
近期GAN的模型和理论发展

摘要：于是，中将做了拆解，认为中生成模型应该包含的先验分成两种不能再做压缩的和可解释地有隐含意义的一组隐变量，简写为。利用这种更加细致的隐变量建模控制，可以说将的发展又推动了一步。摘要在过去一两年中，生成式模型 Generative Adversarial Networks（GAN）的新兴为生成式任务带来了不小的进展。尽管 GAN 在被提出时存在训练不稳定等诸多问题，但后来的研究者们分别从模型、...

Alfred 2019-04-25 18:03 评论0 收藏0
论文阅读 (33): Unsupervised Representation Learning wi

摘要：第一层的输入为统一噪声分布，由于其操作仅仅为矩阵乘法，可以看做是一个全连接层。一个维的统一分布被映射到具有多个特征图的小空间范围卷积表示。对抗性训练细节我们在三个数据集上训练，即大规模风景数据集和一个新装配的人脸数据集。 ...

MiracleWong 2021-11-15 11:38 评论0 收藏0
128篇论文，21大领域，深度学习最值得看的资源全在这了

摘要：对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起这是一个亘古不变的话题。接下来的论文将带你深入理解深度学习方法深度学习在前沿领域的不同应用。对于大多数想上手深度学习的小伙伴来说，我应当从那篇论文开始读起？这是一个亘古不变的话题。而对那些已经入门的同学来说，了解一下不同方向的论文，也是不时之需。有没有一份完整的深度学习论文导引，让所有人都可以在里面找到想要的内容呢？有！今天就给...

tracymac7 2019-04-25 18:18 评论0 收藏0