全卷積檢測(cè)器放棄一對(duì)多匹配，采用一對(duì)一匹配策略實(shí)現(xiàn)端到端檢測(cè)，但存在收斂速度慢的問題。在本文中重新審視了這兩種匹配方法，發(fā)現(xiàn)將一對(duì)多匹配帶回端到端全卷積檢測(cè)器有助于模型收斂。

基于這一觀察，作者提出了端到端全卷積檢測(cè)（DATE）的雙重匹配。本文的方法在訓(xùn)練期間構(gòu)造了兩個(gè)具有一對(duì)多和一對(duì)一匹配的分支，并通過提供更多監(jiān)督信號(hào)來加快一對(duì)一匹配分支的收斂。DATE只使用帶有一對(duì)一匹配策略的分支進(jìn)行模型推理，這不會(huì)帶來推理開銷。

(相關(guān)資料圖)

實(shí)驗(yàn)結(jié)果表明，Dual Assignment在OneNet和DeFCN上提供了顯著的改進(jìn)，并加快了模型的收斂速度。

代碼：https://github.com/YiqunChen1999/date

1、簡(jiǎn)介

單階段目標(biāo)檢測(cè)器，例如RetinaNet和FCOS，因其簡(jiǎn)單性而被社區(qū)廣泛采用。盡管他們?nèi)〉昧顺晒?，但一?duì)多匹配（o2m）策略使他們依靠非最大抑制（NMS）來消除重復(fù)的預(yù)測(cè)。這種過程使它們對(duì)NMS的超參數(shù)敏感，并可能導(dǎo)致次優(yōu)解決方案。

這個(gè)問題促使研究人員消除NMS，以實(shí)現(xiàn)端到端的完全卷積目標(biāo)檢測(cè)。OneNet受到DETR的啟發(fā)，討論了端到端檢測(cè)的原因。通過對(duì)匈牙利匹配進(jìn)行詳細(xì)的實(shí)驗(yàn)，OneNet認(rèn)識(shí)到具有分類成本的一對(duì)一匹配（o2o）策略是端到端檢測(cè)的關(guān)鍵。具體而言，通過考慮分類成本，僅為GT分配一個(gè)預(yù)測(cè)，可以防止其產(chǎn)生冗余預(yù)測(cè)。

盡管OneNet很簡(jiǎn)單，并實(shí)現(xiàn)了端到端檢測(cè)，但它存在收斂速度慢的問題。作者的研究表明，OneNet需要比FCOS更多的訓(xùn)練時(shí)間來實(shí)現(xiàn)具有競(jìng)爭(zhēng)的性能。結(jié)果，在相同的設(shè)置下，采用一對(duì)一分配策略訓(xùn)練的模型要比采用一對(duì)多分配策略的模型差。然而，如上所述，一對(duì)多正樣本分配策略使得NMS有必要在推斷過程中刪除重復(fù)預(yù)測(cè)。

基于這些觀察結(jié)果，我們很自然地會(huì)問：我們能在相同的環(huán)境下訓(xùn)練出具有競(jìng)爭(zhēng)力的端到端檢測(cè)器嗎？

在本文中答案是肯定的。假設(shè)OneNet收斂速度較慢的原因是一對(duì)一分配策略對(duì)特征提取器的監(jiān)督較弱。具體而言，一對(duì)一分配策略提供的正樣本比一對(duì)多匹配少，導(dǎo)致特征提取器缺乏分類和回歸監(jiān)督信號(hào)。上述發(fā)現(xiàn)激勵(lì)作者結(jié)合一對(duì)一和一對(duì)多匹配策略的優(yōu)勢(shì)。作者將一對(duì)多分配策略重新引入OneNet，并提出了一種雙任務(wù)分配（DATE）來解決這個(gè)問題。

具體來說，如圖1所示聯(lián)合訓(xùn)練一對(duì)多匹配和一對(duì)一匹配分支。一旦完成訓(xùn)練，只使用一對(duì)一正樣本分配來保持預(yù)測(cè)器的訓(xùn)練，以實(shí)現(xiàn)端到端檢測(cè)。

實(shí)驗(yàn)結(jié)果表明，雙重分配策略加快了端到端檢測(cè)器的收斂速度。經(jīng)過12和36個(gè)Epoch的訓(xùn)練，本文的無NMS DATE可以超越或與基于NMS的同行持平。由于輕量級(jí)的一對(duì)多匹配分支（例如，只有兩個(gè)或三個(gè)卷積層），在訓(xùn)練過程中幾乎不需要額外的計(jì)算資源，但在模型推斷方面可以顯著提高性能。

貢獻(xiàn)總結(jié)如下：

提出了一種雙分配策略，通過引入更多監(jiān)督信號(hào)來加快端到端全卷積檢測(cè)器的收斂。提出的雙重分配策略在訓(xùn)練期間引入了可忽略不計(jì)的成本，在推斷期間沒有開銷?；谔岢龅碾p重分配策略，與基于一對(duì)多匹配策略的模型相比，本文簡(jiǎn)單而有效的DATE實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力的性能或略好的性能。2、本文方法

為了克服一對(duì)一匹配缺乏監(jiān)督信號(hào)（即很少有正樣本）的缺點(diǎn)，作者提出了端到端全卷積檢測(cè)器（DATE）的雙重匹配，如圖2所示。在典型的單階段檢測(cè)器之后，本文的架構(gòu)將圖像作為輸入，并提取多尺度特征用于分類和回歸。本文的多尺度特征提取器由主干、特征金字塔網(wǎng)絡(luò)和兩個(gè)子網(wǎng)組成。然后，Dual Assignment在訓(xùn)練期間按照特征提取器構(gòu)造兩個(gè)分支（Bo2o和Bo2m），并且在推理期間只保留一個(gè)分支用于端到端檢測(cè)。

2.1、Dual Assignment

本文方法的一個(gè)重要概念是雙重匹配。匹配策略將一個(gè)GT分配給一個(gè)或多個(gè)預(yù)測(cè)以監(jiān)督網(wǎng)絡(luò)。雙重匹配策略在訓(xùn)練期間使用不同的樣本匹配策略構(gòu)建了兩個(gè)分支。第一個(gè)分支由Bo2o表示，采用一對(duì)一匹配策略進(jìn)行訓(xùn)練（圖1，底部）。第二個(gè)名為Bo2m，在訓(xùn)練期間采用一對(duì)多匹配政策（圖1，頂部）。這些分支將共享的分類特征和回歸特征作為輸入進(jìn)行預(yù)測(cè)。然后，他們的匹配策略將構(gòu)建（GT、預(yù)測(cè)）對(duì)來計(jì)算損失。

優(yōu)化DATE是一個(gè)多目標(biāo)優(yōu)化問題。理想情況下希望尋求一種烏托邦解決方案，同時(shí)最大限度地減少兩個(gè)分支的損失。然而，一個(gè)解很難同時(shí)是不同任務(wù)的目標(biāo)函數(shù)的局部極小值。獲得帕累托邊界的帕累托最優(yōu)解是一個(gè)更常見的選擇。

由于多目標(biāo)優(yōu)化問題有無限個(gè)帕累托解，通常需要做出決定，從中選擇一個(gè)或一些。理想情況下，優(yōu)化過程應(yīng)該反映用戶的偏好。最常見的方法之一是權(quán)重和方法，它為每個(gè)目標(biāo)函數(shù)匹配權(quán)重：

其中和分別是一對(duì)一和一對(duì)多匹配分支的損失。，分別是和的權(quán)重。直覺上，相對(duì)較大的權(quán)重意味著相應(yīng)的目標(biāo)函數(shù)比其他函數(shù)更重要。例如，在極端情況下，如果將等式（1）中的置為零，則它將退化為只訓(xùn)練一對(duì)一分支，而不關(guān)心一對(duì)多分支，反之亦然。

1、One-to-one Assignment Branch

如圖2所示，這個(gè)稱為的分支由兩個(gè)卷積層組成，一個(gè)用于分類，另一個(gè)用于回歸。一對(duì)一匹配策略將一個(gè)GT分配給一個(gè)預(yù)測(cè)，并構(gòu)建G（GT，預(yù)測(cè)）對(duì)，其中G是一個(gè)圖像中注釋目標(biāo)的數(shù)量。不符合任何GT的預(yù)測(cè)是負(fù)樣本。通常，采用匈牙利匹配損失或質(zhì)量度量作為一對(duì)一匹配算法。作者通過遵循OneNet以一對(duì)一的匹配來訓(xùn)練這個(gè)分支，但使用POTO作為質(zhì)量度量。通過以下方式監(jiān)督該分支結(jié)構(gòu)：

其中、和分別為分類、回歸和IoU損失。、和是相應(yīng)損失的權(quán)重。這些權(quán)重與OneNet相同。

2、One-to-many Assignment Branch

一對(duì)多匹配將一個(gè)GT分配給多個(gè)預(yù)測(cè)，并構(gòu)造N個(gè)（GT，預(yù)測(cè)）對(duì)，例如最大IoU匹配策略。通常N＞G。主要考慮廣泛研究的單階段檢測(cè)器RetinaNet和FCOS來構(gòu)建這個(gè)分支（）。具體而言，DATE采用了兩層RetinaNet卷積層或三層FCOS。通過最小化以下內(nèi)容來訓(xùn)練該分支：

其中和是FCOS中心度預(yù)測(cè)的權(quán)重和損失函數(shù)。其他符號(hào)的含義類似于一對(duì)一分支。RetinaNet的為0，因?yàn)镽etinaNet中沒有中心度預(yù)測(cè)。一旦完成訓(xùn)練，將放棄這一分支。權(quán)重保持與RetinaNet或FCOS相同。

2.2、Discussion

一對(duì)一匹配只提供與GT相同數(shù)量的正樣本，這小于一對(duì)多匹配策略。假設(shè)用一對(duì)一匹配策略訓(xùn)練的檢測(cè)器的緩慢收斂問題主要是由于監(jiān)督信號(hào)不足而發(fā)生的。由于缺乏足夠的正樣本，特征提取器可能需要更多的訓(xùn)練迭代來產(chǎn)生用于分類和回歸的合適特征。

相反，一對(duì)多匹配策略將多個(gè)正樣本分配給GT。假設(shè)，足夠數(shù)量的正樣本減少了更多訓(xùn)練迭代的必要性。然而，一對(duì)多匹配策略依賴于NMS來刪除重復(fù)的預(yù)測(cè)。

雙重任務(wù)結(jié)合了一對(duì)一和一對(duì)多任務(wù)的優(yōu)點(diǎn)。一對(duì)多匹配分支提供足夠的監(jiān)督信號(hào)以加快共享多尺度特征提取器的訓(xùn)練。一對(duì)一匹配分支的作用類似于接收和調(diào)整特征以進(jìn)行端到端檢測(cè)。

作者猜測(cè)一對(duì)多匹配策略有助于緩解優(yōu)化問題，使一對(duì)一匹配分支更專注于擬合所接收的表示。在第4.6節(jié)中根據(jù)經(jīng)驗(yàn)表明，由一對(duì)多分支監(jiān)督的特征提取器是加速DATE收斂的重要因素。

訓(xùn)練DATE就像訓(xùn)練兩個(gè)參數(shù)共享的網(wǎng)絡(luò)，然后在推理過程中丟棄其中一個(gè)（例如，一對(duì)多匹配分支）。這種設(shè)計(jì)不會(huì)在模型推斷過程中引入任何開銷。由于共享參數(shù)，DATE在訓(xùn)練期間只引入了微不足道的成本，使其對(duì)資源有限的機(jī)器友好。所提出的雙重匹配使本文的方法與一對(duì)一匹配分支的修改正交，從而可以集成其他改進(jìn)。在第4.3節(jié)中表明，改進(jìn)一對(duì)一匹配分支可以進(jìn)一步提高性能。

3、實(shí)驗(yàn)3.1、DATE的優(yōu)勢(shì)3.2、Promising Extension to DATE3.3、更強(qiáng)的骨干3.4、擁擠的場(chǎng)景檢測(cè)3.5、為什么要進(jìn)行雙重匹配？1、Basic Observations

如表1所示，與OneNet（使用一對(duì)一匹配策略訓(xùn)練）相比，使用一對(duì)多匹配策略訓(xùn)練的檢測(cè)器收斂更快，即使它們具有類似的架構(gòu)。例如，經(jīng)過12個(gè)Epoch的訓(xùn)練后，RetinaNet和FCOS分別報(bào)告了36.9 AP和37.3 AP。相比之下，本文OneNet基線性能為35.4 AP，遠(yuǎn)低于RetinaNet和FCOS。這些結(jié)果表明，一對(duì)多匹配在更快收斂方面可能很重要。假設(shè)充分的正樣本有助于一對(duì)多分配模型的收斂。假設(shè)一對(duì)多匹配有助于共享特征提取器的學(xué)習(xí)，并進(jìn)一步加快一對(duì)一指派分支的收斂。

2、關(guān)于訓(xùn)練有素的特征提取器

首先設(shè)計(jì)實(shí)驗(yàn)來驗(yàn)證由一對(duì)多匹配監(jiān)督的特征提取器的重要性。使用經(jīng)過訓(xùn)練的FCOS初始化DATE的多尺度特征提取器。一對(duì)一匹配分支保持隨機(jī)初始化狀態(tài)。將最大迭代次數(shù)設(shè)置為30000次。其他設(shè)置與從頭開始訓(xùn)練DATE保持相同，例如，一起訓(xùn)練兩個(gè)分支。

圖3中的結(jié)果表明，只有約三分之一的訓(xùn)練時(shí)間足以超過普通OneNet，即36.5 AP，而OneNet的35.4 AP。將這種現(xiàn)象歸因于初始化良好的特征提取器。在例子中，經(jīng)過訓(xùn)練的特征提取器適用于一對(duì)多匹配分支。一對(duì)一匹配分支所需的特性可能類似于一對(duì)多匹配分支，這里只需要進(jìn)行一些調(diào)整。

進(jìn)一步從DATE中刪除一對(duì)多任務(wù)，只訓(xùn)練一對(duì)一任務(wù)分支。結(jié)果表明，一對(duì)多匹配分支對(duì)訓(xùn)練有素的特征提取器的影響有限，即最終性能降至36.3 AP（0.2 AP）。

這些現(xiàn)象表明，無論是否存在一對(duì)多匹配分支，訓(xùn)練有素的特征提取器對(duì)于用一對(duì)一匹配訓(xùn)練的檢測(cè)器來說都是重要的。然而，從頭學(xué)習(xí)此類模型的過程很慢，例如OneNet。假設(shè)差異在于正樣本的數(shù)量。這些觀察促使提出雙重任務(wù)。通過引入用一對(duì)多匹配策略訓(xùn)練的分支，雙重匹配提供了更多的積極樣本來監(jiān)督特征提取器的學(xué)習(xí)。

3、論雙重匹配的引入

引入的一對(duì)多匹配使得一對(duì)一匹配分支收斂更快。圖4中的經(jīng)驗(yàn)證據(jù)表明，一對(duì)多匹配分支主要通過減少分類損失來加快一對(duì)一匹配分支的收斂。假設(shè)共享的多尺度特征提取器起著重要作用。一對(duì)多匹配比一對(duì)多匹配分支生成更多的正樣本，這可以通過減少更多訓(xùn)練迭代的必要性來加快特征提取器的收斂。作者猜測(cè)，較早的收斂使得特征提取器產(chǎn)生用于分類的“一般”特征。因此，一對(duì)一匹配分支可能主要調(diào)整其參數(shù)以適應(yīng)表示。

3.5、消融實(shí)驗(yàn)1、Dual Assignment and POTO2、About NMS3、Weights of Losses4、Training Cost5、Not Sharing Subnets4、參考

[1].DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection.

5、推薦

目標(biāo)檢測(cè)落地技能 | 擁擠目標(biāo)檢測(cè)你是如何解決的呢？改進(jìn)Copy-Paste解決擁擠問題！

量化加速系列 | 一文帶你對(duì)YOLOv5使用PTQ和QAT進(jìn)行量化加速?。?！

ViT系列 | 24小時(shí)用1張GPU訓(xùn)練一個(gè)Vision Transformer可還好？

掃描上方二維碼可聯(lián)系小書童加入交流群~

想要了解更多前沿AI視覺感知全棧知識(shí)【分類、檢測(cè)、分割、關(guān)鍵點(diǎn)、車道線檢測(cè)、3D視覺（分割、檢測(cè)）、多模態(tài)、目標(biāo)跟蹤、NerF】、行業(yè)技術(shù)方案【AI安防、AI醫(yī)療、AI自動(dòng)駕駛以及AI元宇宙】、AI模型部署落地實(shí)戰(zhàn)【CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平線框架等】，歡迎掃描下方二維碼，加入集智書童知識(shí)星球，日常分享論文、學(xué)習(xí)筆記、問題解決方案、部署方案以及全棧式答疑，期待交流！

關(guān)鍵詞： 特征提取 目標(biāo)檢測(cè) 收斂速度