如有错误，恳请指出。

paper：End-to-End Object Detection with Transformers
code：https://github.com/facebookresearch/detr

摘要：
paper提出将目标检测问题看作是集合预测问题，简化了检测流程，有效的消除了一些设计需要：如非最大抑制程序或锚生成。DETR是一种基于集合的全局损失，通过双向匹配进行唯一预测，同时也是一种encoder-decoder结构。

实现了给定一个固定大小的query，DETR根据目标对象与全局图像的上下文关系直接并行输出最终的预测集。

其中，paper涉及到了一些transformer的概念，有关transformer的介绍可以查看我另外的两篇博客：

1. Transformer介绍
2. Vit 介绍（Transformer用于分类任务）

1. Introduction

在以往主流的目标检测框架中都是通过对anchor定义代理回归和分类问题来解决检测任务，但是这种方式需要人为自觉的设定anchor相关参数与一些后处理的方法。为此，作者提出DETR，一种直接集预测方法来绕过代理任务，同时使用了transformer结构。

通过将目标检测看作直接集预测问题，简化了训练流程，采用了一种基于transformer的编解码器结构。transformer的自注意机制，显式地建模序列中所有元素之间的成对交互，使这些架构特别适合于特定的集预测约束，如删除重复预测。结构如图1所示：

与以往大多数直接集预测的工作相比，DETR的主要特点是将二部匹配损耗和transformers与(非自回归)并行解码结合起来。相比之下，以前的工作集中于使用rnn的自回归解码。DETR中的匹配损失函数唯一地将一个预测框给一个ground truth对象，并且对预测对象的排列不变。

DETR在大型对象上展示了明显更好的性能，这很可能是由transformers的非局部计算实现的。然而，它在小对象上的性能较低。同时，其需要需要超长的训练时间。

2. Related work

作者的工作建立在以下几个领域：
1）用于集预测的二分匹配损耗
2）基于transformers的编码器-解码器体系结构
3）并行译码
4）目标检测方法

2.1 Set Prediction

在深度学习中，没有特定的结构用于直接集合预测。最典型的集合预测任务当属多标签分类问题，但这类方法不可以直接迁移到目标检测中（目标检测中还需要对目标进行定位）。这类任务中首要问题是重复检测，当前目标检测方法使用的是非极大值抑制。但集合预测不需要后处理，它通过全局推理来预测元素之间的关系。同时，可以使用全连接网络预测固定大小的集合，但同时会带来庞大的计算量。一种可能的解决办法是使用自递归序列模型，如循环神经网络。在这种情况下，损失函数应该对预测目标保持不变，一种解决办法是使用匈牙利算法设计损失函数来唯一匹配预测结果和标注信息。与以往方法不同的是，论文没有采用自回归模型，而是使用了带并行编码器的Transformer模型。

2.2 Transformers and Parallel Decoding

注意机制是神经网络层，从整个输入序列中聚集信息。Transformer引入了自注意层，类似于非局部神经网络，扫描序列的每个元素，并通过从整个序列中聚合信息来更新它。基于注意力的模型的主要优点之一是其全局计算和完美的记忆性，这使得它比rnn更适合长序列。

Transformer首先在自回归模型中使用，遵循早期的序列-序列模型，逐个生成输出tokens。但由于推理成本的限制，以并行的方式产生序列没能得到发展。为此，作者结合了Transformer和并行解码，以便在计算成本和执行集合预测所需的全局计算能力之间进行适当的权衡。

2.3 Object detection

在DETR中，通过直接预测输入图像的检测集，而不是锚框，从而简化检测过程。

一些目标检测器使用了二分匹配损耗。然而，在这些早期的深度学习模型中，不同预测之间的关系仅采用卷积或全连接层建模，而手工设计的NMS后处理可以提高它们的性能。最近的探测器与NMS一起对ground truth和预测值之间使用非唯一的分配规则。使用直接的集合损失，不需要任何后处理步骤。然而，这些方法使用额外的手工上下文特征，如提议框坐标，以高效地建模检测之间的关系。

还有使用基于CNN激活的编码器-解码器架构的两分匹配损失来直接产生一组包围盒的检测器，但是这些方法仅在小数据集上进行评估，而没有参照现代基线，且没有利用并行解码的最新transformers。

3. DETR model

在预测过程中，有两条因素对直接的集合预测至关重要：
1）预测的损失函数确保预测框与真实框的唯一匹配
2）确保检测结构可以预测一组对象且对他们之间的关系建模

DETR的具体结构如图所示：

3.1 Object detection set prediction loss

通过解码器的输出，DETR会输出一组N个固定大小的预测，其中N是要比图像中的目标数量要大的。训练的主要难点之一是根据ground truth对预测对象(类别、位置、大小)进行评分。作者提出的损失产生了预测对象和ground truth之间的最佳二分匹配，然后优化特定对象(边界框)的损失。

用$y$来表示对象的ground true集合，用 y ^ = { y ^ } i = 1 N /hat{y} = /{/hat{y}/}^{N}_{i=1} y^​={y^​}i=1N​来表示N个预测的集合。假设N的数目是要比一副图像上的对象要多的，其实也可以认为$y$是一组数目也是N的集合，但是多出来的部分为null，也就是∅(no object)。为了找到这两个集合之间的二分匹配，作者寻找代价最低的n个元素的排列$\sigma \in S_N$，公式可以表示为：
$$\hat{\sigma }=\arg \underset{\sigma \in S_N}{\min }\sum _i^N{L}_{match}(y_i,{\hat{y}}_{\sigma }(i))\text{\hspace{1em}(1)}$$
其中，$L_{match}(y_i,{\hat{y}}_{\sigma }(i))$表示的是ground truth $y_i$与预测框${\sigma }_i$之间的成对匹配代价。其中匈牙利算法有效地计算了这种最优分配。

匹配代价既考虑了类预测，也考虑了预测框和ground true的相似性。其中ground true集合中的每个成员都可以看成是$y_i=(c_i,b_i)$，其中$c_i$表示目标类别（可能是null，也就是没有目标对象）；而$b_i\in [0,1{]}^4$是定义ground truth中心坐标及其相对于图像大小的高度和宽度的向量。而对于预测的边界框${\sigma }_i$，定义其类别概率为：${\hat{p}}_{\sigma (i)}(c_i)$ ，定义其预测框坐标为：${\hat{b}}_{\sigma (i)}$。利用这些符合，定义成对匹配代价函数为：
L m a t c h ( y i , y ^ σ ( i ) ) = − 1 { c i = ∅ } p ^ σ ( i ) ( c i ) + 1 { c i ≠ ∅ } L b o x ( b i , b ^ σ ( i ) ) (2) L_{match}(y_{i},/hat{y}_{σ}(i)) = -1_{/{c_{i}=∅/}}/hat{p}_{σ(i)}(c_{i})+1_{/{c_{i}≠∅/}}L_{box}(b_{i},/hat{b}_{σ(i)}) /tag{2} Lmatch​(yi​,y^​σ​(i))=−1{ci​=∅}​p^​σ(i)​(ci​)+1{ci​​=∅}​Lbox​(bi​,b^σ(i)​)(2)
这种寻找匹配的过程与现代探测器中用于匹配提议或锚点到ground true的启发式分配规则相同。主要的区别是，需要找到一对一的匹配来进行没有重复的直接集预测。

第二步是计算损失函数，即前一步中匹配的所有配对的匈牙利损失。这里作者对损失的定义类似于普通检测器的损失，即类预测的负对数似然和后面定义的边界框损失的线性组合:
$$L_{Hungarian}(y,\hat{y})=\sum _{i=1}^N[-\log {\hat{p}}_{\hat{\sigma }(i)}$$