隨著視覺識(shí)別技術(shù)的不斷發(fā)展和應(yīng)用，大量應(yīng)用場(chǎng)景需要對(duì)重要設(shè)施和區(qū)域進(jìn)行異物侵入檢查，如軌道交通、輸變電所、鐵路沿線、機(jī)場(chǎng)跑道等，以避免財(cái)產(chǎn)損失或異物侵入造成的損壞。 人身安全傷害。

目前針對(duì)視頻圖像的異物侵入測(cè)量主要有兩種方法：

1）基于背景建模的運(yùn)動(dòng)目標(biāo)測(cè)量方法，典型方法包括：GMM、VIBE等。

2）基于機(jī)器學(xué)習(xí)的目標(biāo)測(cè)量方法，典型方法包括基于手動(dòng)特征加滑動(dòng)窗口分類的HOG-SVM，以及基于深度學(xué)習(xí)的端到端-RCNN和YOLO。

基于背景建模的運(yùn)動(dòng)目標(biāo)測(cè)量方法估計(jì)復(fù)雜度較低，但容易受到光影變化、風(fēng)草等環(huán)境噪聲的干擾。 雖然一些優(yōu)化算法在具體應(yīng)用中可以達(dá)到一定的改善噪聲抑制的效果，但其本質(zhì)上依賴于人工設(shè)計(jì)的特點(diǎn)，在復(fù)雜環(huán)境下仍然存在很多誤報(bào)。 為此，需要使用其他算法來進(jìn)一步判斷。 基于機(jī)器學(xué)習(xí)的方法是目前解決目標(biāo)測(cè)量問題的有力工具。 需要樣本訓(xùn)練，精度高但復(fù)雜度高。 在實(shí)際測(cè)量中，會(huì)存在樣本不平衡的問題。 人、車等常見物體樣本量足夠，而對(duì)于一些罕見異物（如金屬異物）甚至未知物體，樣本量很小，給分類帶來很大困難。 雖然目前先進(jìn)的少樣本或零樣本分類算法在常用數(shù)據(jù)集上的測(cè)試準(zhǔn)確率僅為68%，但距離實(shí)際應(yīng)用仍有相當(dāng)大的差距。

在實(shí)際應(yīng)用中，我們采用后臺(tái)建模與機(jī)器學(xué)習(xí)相結(jié)合的方式，分為粗檢和精檢兩部分。 粗檢測(cè)部分通過背景建模得到可疑目標(biāo)區(qū)域，然后利用基于運(yùn)動(dòng)軌跡的快速粗過濾算法得到候選區(qū)域。

快速粗過濾算法的原理是：正報(bào)警和誤報(bào)警目標(biāo)的運(yùn)動(dòng)特征存在明顯差異，通過軌跡跟蹤可以有效濾除誤報(bào)警。

精檢部分利用相似度比較算法過濾誤報(bào)，得到最終的報(bào)告目標(biāo)，然后對(duì)目標(biāo)進(jìn)行分類。

其中，相似度比較算法是通過設(shè)計(jì)輕量級(jí)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)的。 目的是在高層語義上比較報(bào)告區(qū)域的前景和背景之間的相似性，并進(jìn)一步過濾掉噪聲引起的誤報(bào)。 在實(shí)際應(yīng)用中，該算法借助相似性比較網(wǎng)絡(luò)解決了直接使用分類器二次判別的缺點(diǎn)，使得算法更加通用，可以應(yīng)用于包括特殊對(duì)象在內(nèi)的情況。 相似度比較算法成功的原因在于訓(xùn)練樣本容易獲取，只需要運(yùn)動(dòng)區(qū)域的前景和背景，對(duì)目標(biāo)的類型沒有要求。 由于模型訓(xùn)練，網(wǎng)絡(luò)學(xué)習(xí)的是通用的前景-背景比較能力。

該算法已成功應(yīng)用于高鐵、軌道交通應(yīng)用場(chǎng)景。 其中，在軌道交通異物入侵場(chǎng)景的應(yīng)用中基于kalman濾波的目標(biāo)跟蹤，實(shí)際測(cè)試數(shù)據(jù)如下：

粗檢測(cè)部分提取的候選區(qū)域準(zhǔn)確率為91.5%，誤報(bào)率為0，抑制了99.0%的誤報(bào)，大大減少了深度學(xué)習(xí)部分的觸發(fā)次數(shù)。 通過集中檢查后，報(bào)告準(zhǔn)確率提升至99.5%，誤報(bào)率僅為1.05%，常見物體分類準(zhǔn)確率為91.8%。

1. 異物入侵檢測(cè)算法

異物入侵檢測(cè)算法框架

該算法分為兩部分：可疑目標(biāo)區(qū)域的初步測(cè)量和候選區(qū)域的精確測(cè)量。

1）背景建模目標(biāo)提取和粗過濾兩步

2）相似度比較和分類兩步

背景建模和分類算法可以使用經(jīng)典的GMM背景建模和具體項(xiàng)目中常用的分類網(wǎng)絡(luò)。 快速提取可疑目標(biāo)候選區(qū)域，然后使用算法的第二部分準(zhǔn)確過濾誤報(bào)并識(shí)別常見對(duì)象。

1.1 可疑目標(biāo)區(qū)域的初步測(cè)量

背景建模直接提取的運(yùn)動(dòng)目標(biāo)一般含有植被、光影等各種噪聲，是誤報(bào)的主要來源。 一般來說，在復(fù)雜的環(huán)境中，誤報(bào)的概率遠(yuǎn)高于正報(bào)的概率，比例可以高出數(shù)千倍。 快速有效地消除大多數(shù)誤報(bào)是初始檢查的目標(biāo)。 通過實(shí)際測(cè)試：報(bào)告目標(biāo)必須有一定的位移量。 基于此實(shí)驗(yàn)結(jié)果，我們跟蹤背景建模提取的對(duì)象，并根據(jù)其運(yùn)動(dòng)軌跡進(jìn)行過濾。

追蹤工具采用SORT，這是一種簡(jiǎn)單有效的在線追蹤算法。 它主要依靠目標(biāo)測(cè)量器和卡爾曼混合框架。 通過匹配將測(cè)量幀和預(yù)測(cè)幀與數(shù)據(jù)關(guān)聯(lián)起來，去除缺失目標(biāo)，然后更新模型。 如此循環(huán)重復(fù)。 得到其軌跡Straj={x1,x2,…,xN}，xt(t=1,2,…,N)為t時(shí)刻的運(yùn)動(dòng)狀態(tài)向量，可以通過卡爾曼混合器得到。

過濾不滿足以下條件的軌跡： IOU(boxN, pad(box1, r))≤<1NΣNt=1{‖vt‖<Vb(1) 其中boxt和vt是運(yùn)動(dòng)物體在分別為時(shí)間t。 幀數(shù)和速率，可以從xt中獲取。 pad(x,r)是邊界擴(kuò)展函數(shù)，意思是將圓x向周圍區(qū)域分別擴(kuò)展r個(gè)像素。 IOU(x, y) 表示估計(jì)圓 x 和 y 的交并比。 、Va、Vb、r 均為常數(shù)。

第一個(gè)約束條件是根據(jù)運(yùn)動(dòng)物體的位移特性制定的，這意味著報(bào)告目標(biāo)的當(dāng)前區(qū)域與其最初出現(xiàn)的區(qū)域的重合度必須大于。

第二個(gè)約束條件是指目標(biāo)的平均移動(dòng)速度必須在Va和Vb之間，這是為了進(jìn)一步過濾異常移動(dòng)的噪聲。

1.2 目標(biāo)候選區(qū)域的精確測(cè)量

初步檢測(cè)得到的目標(biāo)候選區(qū)域已經(jīng)比較可靠，可以抑制99%的誤報(bào)。 但由于誤報(bào)較多，正常入侵較少，誤報(bào)率較高。 準(zhǔn)確測(cè)量對(duì)象候選區(qū)域是鏈接的目標(biāo)。 精確測(cè)量的具體過程如右圖所示。 將目標(biāo)區(qū)域的前景和背景送至相似度比較網(wǎng)絡(luò)進(jìn)行裁決。 若判定結(jié)果相似，則視為誤報(bào)，直接過濾； 否則，視為正常入侵目標(biāo)，進(jìn)行報(bào)告提示，并發(fā)送至分類網(wǎng)絡(luò)進(jìn)行類別統(tǒng)計(jì)。 項(xiàng)目中的分類網(wǎng)絡(luò)可以嘗試一下。

精確測(cè)量

相似度比較網(wǎng)絡(luò)遵循當(dāng)前主流的端到端圖像塊匹配基本結(jié)構(gòu)。

首先通過第一級(jí)頻域網(wǎng)絡(luò)對(duì)圖像對(duì)進(jìn)行特征提取，然后將提取的特征拼接在一起，然后通過第二級(jí)網(wǎng)絡(luò)進(jìn)行決策，最后直接輸出相似度值。

特征提取：為了避免網(wǎng)絡(luò)過擬合，促進(jìn)收斂，借助主干網(wǎng)絡(luò)提取圖像的基本特征。

事實(shí)上，在實(shí)際應(yīng)用中，我們將背景建模與機(jī)器學(xué)習(xí)相結(jié)合基于kalman濾波的目標(biāo)跟蹤，提供了異物入侵檢查解決方案。 通過提出一種基于深度學(xué)習(xí)的相似度比較算法，解決了背景建模誤報(bào)率高和機(jī)器學(xué)習(xí)分類漏報(bào)率高的矛盾。 據(jù)悉，基于目標(biāo)運(yùn)動(dòng)軌跡的濾波算法的應(yīng)用，可以快速有效地濾除誤報(bào)，大幅降低深度學(xué)習(xí)算法的觸發(fā)頻率，降低算法的復(fù)雜度。

186信息網(wǎng)原創(chuàng)文章，轉(zhuǎn)載請(qǐng)注明本文來自：www.2wfjd54.cn