多目標(biāo)跟蹤（Multiple Object Tracking）

MOT 獲取單個(gè)連續(xù)視頻并以特定幀速率 (fps) 將其拆分為離散幀以輸出

• 檢測每幀中存在哪些對(duì)象
• 標(biāo)注對(duì)象在每一幀中的位置
• 關(guān)聯(lián)不同幀中的對(duì)象是屬于同一個(gè)對(duì)象還是屬于不同對(duì)象

MOT的典型應(yīng)用

多目標(biāo)跟蹤（MOT）

• 用于交通控制、數(shù)字取證的視頻監(jiān)控
• 手勢識(shí)別
• 機(jī)器人技術(shù)
• 增強(qiáng)現(xiàn)實(shí)
• 自動(dòng)駕駛

MOT 面臨的挑戰(zhàn)

準(zhǔn)確的對(duì)象檢測的問題是未能檢測到對(duì)象或者為檢測到的對(duì)象分配錯(cuò)誤的類別標(biāo)簽或錯(cuò)誤地定位已識(shí)別的對(duì)象：

• ID Switching發(fā)生在兩個(gè)相似的物體重疊或混合時(shí)，導(dǎo)致身份切換； 因此，很難跟蹤對(duì)象 ID。
• 背景失真：復(fù)雜的背景使得在物體檢測過程中難以檢測到小物體
• 遮擋：對(duì)象被另一個(gè)對(duì)象隱藏或遮擋時(shí)會(huì)產(chǎn)生這個(gè)問題。
• 多個(gè)空間空間、變形或?qū)ο笮D(zhuǎn)
• 由于運(yùn)動(dòng)模糊而在相機(jī)上捕獲的視覺條紋或拖尾

一個(gè)好的多目標(biāo)跟蹤器（MOT）

• 通過在每幀的精確位置識(shí)別正確數(shù)量的跟蹤器來跟蹤對(duì)象。
• 通過長期一致地跟蹤單個(gè)對(duì)象來識(shí)別對(duì)象，
• 盡管有遮擋、照明變化、背景、運(yùn)動(dòng)模糊等，仍可跟蹤對(duì)象。
• 快速檢測和跟蹤物體

常見的 MOT 算法

1、基于質(zhì)心的對(duì)象跟蹤

基于質(zhì)心的對(duì)象跟蹤利用視頻中兩個(gè)連續(xù)幀之間檢測到的對(duì)象質(zhì)心之間的歐幾里得距離。

Intersection-over-Union 是另一種對(duì)象跟蹤技術(shù)，它通過后續(xù)幀的空間重疊將后續(xù)幀的檢測與軌跡相關(guān)聯(lián)。

Visual IOU Object Tracker 有兩個(gè)方向工作； 對(duì)象的視覺前向和后向跟蹤有助于合并中斷的軌跡。

2、簡單的在線實(shí)時(shí)跟蹤 (SORT)

SORT 方法假設(shè)跟蹤質(zhì)量取決于對(duì)象檢測性能。SORT 首先使用 Faster Region-CNN (FrRCNN) 檢測對(duì)象。

通過預(yù)測其在當(dāng)前幀中的新位置來更新使用卡爾曼濾波框架優(yōu)化解決的目標(biāo)狀態(tài)，將對(duì)象檢測與檢測到的邊界框相關(guān)聯(lián)。

為每個(gè)檢測分配Cost矩陣來計(jì)算與來自現(xiàn)有目標(biāo)的所有預(yù)測邊界框之間的交并聯(lián)合（IOU）距離。 使用匈牙利算法解決分配問題。

SORT算法有助于減少遮擋目標(biāo)，當(dāng)物體運(yùn)動(dòng)較小時(shí)，Id切換效果很好。 SORT 在具擁擠場景和快速運(yùn)動(dòng)的情況下可能會(huì)失敗

Deep SORT： Deep SORT 是 SORT 的擴(kuò)展，允許通過更長時(shí)間的遮擋進(jìn)行跟蹤，實(shí)現(xiàn)簡單并且可以實(shí)時(shí)運(yùn)行。

Deep SORT采用單一的傳統(tǒng)假設(shè)跟蹤方法，具有遞歸卡爾曼濾波和使用匈牙利算法的逐幀數(shù)據(jù)關(guān)聯(lián)。

外觀特征描述了給定圖像的所有特征。 Deep SORT 還利用類似于 SORT 的匹配級(jí)聯(lián)來對(duì)更常見的對(duì)象進(jìn)行優(yōu)先級(jí)排序。

Deep SORT 減少了 ID 切換和遮擋，從而降低了誤報(bào)率。

3、FairMOT（多目標(biāo)跟蹤）

FairMOT 不使用首先檢測對(duì)象及其邊界框，然后進(jìn)行對(duì)象跟蹤的多任務(wù)方法，如 SORT 和 Deep SORT。 FairMOT 認(rèn)為網(wǎng)絡(luò)偏向于主要檢測任務(wù)，這對(duì) re-ID 或?qū)ο蟾櫲蝿?wù)是不公平的。

在 FairMOT 中，對(duì)象檢測和重新識(shí)別任務(wù)得到同等對(duì)待。

輸入圖像被饋送到編碼器-解碼器網(wǎng)絡(luò)以提取高分辨率特征圖。

FairMOT 然后添加了兩個(gè)同質(zhì)分支，用于檢測對(duì)象和提取 re-ID 特征，以獲得檢測和 re-ID 之間的良好折衷。

4、BytrTrack 算法

ByteTrack 使用高性能 YOLOX 對(duì)視頻執(zhí)行 MOT，并使用 BYTE 執(zhí)行檢測框和軌道之間的關(guān)聯(lián)。

BYTE 保留所有檢測框并將它們分為高分（D????）和低分（D???）。 使用卡爾曼濾波器來預(yù)測 T 中每個(gè)軌道的當(dāng)前幀中的新位置。

BYTE 中的第一個(gè)關(guān)聯(lián)是在高分檢測框 D???? 與所有 tracklets 之間執(zhí)行的。 第一個(gè)關(guān)聯(lián)的相似性是使用 IoU 或檢測框 D???? 與軌道的預(yù)測框 T 之間的 Re-ID 特征距離計(jì)算的。

一些 tracklet 無法匹配是因?yàn)樗鼈兣c適當(dāng)?shù)母叻謾z測框 D???? 不匹配，這在發(fā)生遮擋、運(yùn)動(dòng)模糊或大小變化時(shí)發(fā)生。

第二次關(guān)聯(lián)是在低分檢測框 D??? 與剩余的未匹配軌跡 (T??????) 之間的第一次關(guān)聯(lián)之后執(zhí)行的，這樣可以恢復(fù)低分檢測框中的對(duì)象并過濾掉背景。

將不匹配的目標(biāo)保留在 T??-?????? 中，并刪除所有不匹配的低分檢測框，因?yàn)樗鼈儽灰暈楸尘啊?/p>

MOT評(píng)估指標(biāo)

MOT 評(píng)估指標(biāo)需要解決 MOT 中的五種錯(cuò)誤類型。 這五種錯(cuò)誤類型是假陰性（FN）、假陽性（FP）、碎片化、合并（ID切換）和偏差。

MOT 評(píng)估指標(biāo)還應(yīng)該具有單調(diào)性，并且錯(cuò)誤類型應(yīng)該是可區(qū)分的，以便指標(biāo)具有跟蹤器對(duì)五種基本錯(cuò)誤類型中的每一種的性能。

常用的MOT評(píng)估指標(biāo)

1、Track-mAP

Track mAP 在軌跡級(jí)別執(zhí)行匹配和關(guān)聯(lián)，它基于置信度排序的潛在跟蹤結(jié)果進(jìn)行操作。 Track-mAP 在檢測中是非單調(diào)的。

2、多目標(biāo)跟蹤精度- MOTA

MOTA 是最廣泛使用的指標(biāo)，可以密切代表人類視覺評(píng)估。 在 MOTA 中，匹配是在檢測級(jí)別完成的。 在 MOTA 中使用身份切換 (IDSW) 測量關(guān)聯(lián)，當(dāng)跟蹤器錯(cuò)誤地交換對(duì)象身份或軌道丟失并使用不同的身份重新初始化時(shí)，就會(huì)發(fā)生關(guān)聯(lián)。 MOTA 測量三種類型的跟蹤錯(cuò)誤：False Positive, False Negative, and ID Switch

3、識(shí)別指標(biāo)：IDF1

IDF1 強(qiáng)調(diào)關(guān)聯(lián)準(zhǔn)確性而不是檢測。 IDF1 使用 IDTP（Identity True Positives），其中當(dāng) S ≥ α 的軌跡時(shí)，prID 與 grID 匹配。 IDF1 是正確識(shí)別的檢測與地面實(shí)況和計(jì)算檢測的平均數(shù)量之比。 匈牙利算法選擇要匹配的軌跡以最小化 IDFP 和 IDFN 的總和。

IDF1 結(jié)合了 IDP(ID Precision) 和 IDR(ID Recall)。

HOTA：高階跟蹤精度

HOTA 是用于對(duì)跟蹤器進(jìn)行排名的統(tǒng)一度量標(biāo)準(zhǔn)。 HOTA 可以分解為對(duì)應(yīng)這五種錯(cuò)誤類型的組件：Detection Recall、Detection Precision、Association Recall、Association Precision 和 Localization Accuracy。因此，HOTA 的錯(cuò)誤類型是可微的并且是嚴(yán)格單調(diào)的，提供有關(guān)跟蹤器在每種不同基本錯(cuò)誤類型方面的性能信息

HOTA 跟蹤錯(cuò)誤分為檢測錯(cuò)誤、關(guān)聯(lián)錯(cuò)誤和定位錯(cuò)誤。

• 當(dāng)跟蹤器預(yù)測到不存在的檢測或未能預(yù)測目標(biāo)的檢測時(shí)，就會(huì)發(fā)生檢測錯(cuò)誤。檢測誤差可以進(jìn)一步分為檢測召回率（由 FNs 衡量）和檢測精度（由 FPs 衡量）
• 當(dāng)跟蹤器將相同的 prID 分配給具有不同 gtID 的兩個(gè)檢測或?qū)⒉煌?prID 分配給應(yīng)該具有相同 gtID 的兩個(gè)檢測時(shí)，會(huì)發(fā)生關(guān)聯(lián)錯(cuò)誤。關(guān)聯(lián)誤差進(jìn)一步分為關(guān)聯(lián)召回誤差（由 FNA 測量）和關(guān)聯(lián)精度（由 FPA 測量）
• 當(dāng) prDets 在空間上與 gtDets 不完全對(duì)齊時(shí)，就會(huì)發(fā)生定位錯(cuò)誤。

MOTA 在局部檢測級(jí)別執(zhí)行匹配和關(guān)聯(lián)評(píng)分，但強(qiáng)調(diào)檢測精度，而 IDF1 通過強(qiáng)調(diào)關(guān)聯(lián)效果在軌跡級(jí)別執(zhí)行。

Track-mAP 類似于 IDF1，因?yàn)樗谲壽E級(jí)別執(zhí)行匹配和關(guān)聯(lián)，并且偏向于測量關(guān)聯(lián)。

HOTA 通過在檢測級(jí)別執(zhí)行匹配，同時(shí)在軌跡上對(duì)關(guān)聯(lián)進(jìn)行全局評(píng)分，通過作為檢測分?jǐn)?shù)和關(guān)聯(lián)分?jǐn)?shù)的顯式組合來平衡兩者。

作者：Renu Khandelwal

好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525  備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進(jìn)直播課程學(xué)習(xí)群，每周135晚上都是有實(shí)戰(zhàn)干貨的推廣引流技術(shù)課程免費(fèi)分享！