視頻監控已成為現代社會(huì )改善公共安全水平的基礎設施。它可幫助系統操作員分析已發(fā)生的異常事件進(jìn)行事后追憶;或檢測到正在發(fā)生的威脅，以便及時(shí)安排警力處理(快速做出反應)。視頻監控系統從最初的單機模擬式CCTV系統發(fā)展到如今分布式網(wǎng)絡(luò )環(huán)境下的綜合視頻信息處理系統，在體系結構上日趨復雜。系統包括眾多布控于現場(chǎng)的視覺(jué)傳感器(攝像機)、傳輸鏈路、智能前端設備以及高級監控管理中心。

      視覺(jué)監控的架構設計

      系統架構

      基于眾多視頻安防監控工程解決方案，我們總結出這樣一條經(jīng)驗：一個(gè)實(shí)際的分布式智能視覺(jué)監控系統不僅應具備強大的視頻分析功能，且還應具有“多層遞階”信息處理結構。如圖1所示結構圖，系統主要包括如下組件：

   .多個(gè)節點(diǎn)工作站;

   .一個(gè)數據中心平臺站;

   .一個(gè)監控管理站。

  節點(diǎn)工作站實(shí)現形式位于視頻監控現場(chǎng)的攝像機(IP攝像機或SDI攝像機)和智能終端(嵌入式硬盤(pán)錄像機NVR或支持高清的SDI硬盤(pán)錄像機)，NVR或SDI硬盤(pán)錄像機同時(shí)管理著(zhù)多臺攝像機。在IP視頻監控解決方案中，高清IP攝像機將壓縮后的視頻流以略帶延遲的方式傳入NVR，NVR可有選擇地分析收集到的各路視頻的圖像內容，并把分析結果和壓縮視頻流通過(guò)IP網(wǎng)絡(luò )上傳到監控數據中心平臺站。在智能交通業(yè)務(wù)中，NVR除收集從一體化攝像機中傳來(lái)的視頻流外還包括該路視頻中的智能視覺(jué)分析結果。在SDI-CCTV解決方案中，高清視頻流通過(guò)同軸電纜以無(wú)壓縮的方式高速地傳入SDI硬盤(pán)錄像機。SDI硬盤(pán)錄像機上的智能分析軟件直接對原始高清視頻流進(jìn)行視覺(jué)內容分析，并經(jīng)由視頻線(xiàn)向監控數據中心平臺站上傳分析結果和非壓縮視頻流。每個(gè)節點(diǎn)工作站上的操作系統通常為L(cháng)inux且運行智能視頻分析軟件。

   數據的分層傳輸方法

   我們還提出了一種基于TCP/IP協(xié)議集的“數據的分層傳輸方法”——無(wú)論網(wǎng)絡(luò )上有無(wú)“路由解析”或是“防火墻”(通常會(huì )對多媒體通信會(huì )話(huà)的建立造成干擾)設置，智能分析的結果數據和實(shí)時(shí)的音視頻流數據都可以直接在開(kāi)放的網(wǎng)際間傳輸。其具體技術(shù)方案以下兩個(gè)：

   1、底層通信協(xié)議采用XMPP即可擴展消息和呈現協(xié)議，這是專(zhuān)門(mén)為建立即時(shí)消息系統設計的。其虛擬的非限制性擴展功能使它被廣泛應用在通用型服務(wù)器和分布式系統中。XMPP協(xié)議使用為保證安全消息完整性層(基于TLS標準)、認證、尋址策略提供了一種增值能力。XMPP協(xié)議還提供了一種基于XML消息的容器來(lái)存儲自描述的結構化信息。本方案中，我們在此協(xié)議層實(shí)現智能分析結果數據(元數據)的路由傳輸。

   2、XMPP協(xié)議的擴展部分用于建立視頻監控中的多媒體通信會(huì )話(huà)。在本方案中，我們采用加密后的RTP協(xié)議來(lái)實(shí)現網(wǎng)絡(luò )上的各種音頻數據流和海量視頻數據流的傳輸功能。當網(wǎng)絡(luò )上設置有路由轉發(fā)設備或在路由器上有防火墻時(shí)，為了保證高效的數據流傳輸，我們在系統中實(shí)現了代理服務(wù)功能。

   移動(dòng)目標的檢測和跟蹤

   移動(dòng)目標的檢測

   移動(dòng)目標檢測是視頻分析處理鏈條的第一個(gè)環(huán)節，檢測結果可為后續處理和分析使用。很多視頻目標分割的算法通常使用空間和時(shí)間模型來(lái)產(chǎn)生目標的二值掩膜(對于精細的目標分割而言，而這也是圖像分割的終極理想)，而實(shí)際上得到的是對這個(gè)掩膜逼近的像素塊Blob。在我們的系統框架中，我們采用基于時(shí)空復合模型的背景減除方法來(lái)檢測前景目標。這種方法對很多應用場(chǎng)景都很適用，因它可有效地處理光照條件變化帶來(lái)的干擾，很好地自適應背景變化帶來(lái)的背景模型的更新方式，如：靜止不動(dòng)的目標逐漸融入到背景中，背景中的目標突然啟動(dòng)而容易使原來(lái)的背景模型難以適應更新的速度而產(chǎn)生“鬼影”(檢測效果如圖2所示)。

   目標分割之外，還有一個(gè)輔助算法用于消除目標在光照作用下投射的陰影。首先是陰影的檢測，然后是陰影的消除。通常，投射的陰影會(huì )成為檢出的前景的一部分，陰影檢測算法只要依據這部分在背景減除時(shí)誤判的區域在連續若干幀之間的色度分量基本保持不變，且亮度分量很低(低于某一個(gè)閾值)的特性。每一個(gè)被檢測為前景的像素都要經(jīng)過(guò)上述的這種基于規則的判斷，從而得到真實(shí)的前景。為了保證算法的實(shí)時(shí)性，我們在背景建模時(shí)擯棄了多維模型，從而避免了在線(xiàn)EM算法復雜的迭代和多分布模型排隊的過(guò)程。另一種方法是采用灰度紋理相似度匹配的方式。

   目標的跟蹤

   目標從連續幀中被檢測到之后，我們需要知道目標在幀序列中的運動(dòng)規律，以便在這個(gè)動(dòng)態(tài)時(shí)間序列中確定每個(gè)移動(dòng)目標各自唯一的身份，這就是目標跟蹤模塊任務(wù)。圖3所示為多目標視覺(jué)跟蹤的場(chǎng)景。對多個(gè)目標進(jìn)行視覺(jué)跟蹤可借助動(dòng)態(tài)地維護一個(gè)相互關(guān)聯(lián)的鏈表系統來(lái)實(shí)現，包括：檢測鏈表、中間跟蹤鏈表和輸出跟蹤鏈表。當場(chǎng)景內多個(gè)目標在空間上相對獨立時(shí)，目標跟蹤處于常態(tài)，鏈表系統的維護僅是完成節點(diǎn)匹配和節點(diǎn)搬移的工作。當檢測鏈表和另外兩個(gè)跟蹤鏈表內的節點(diǎn)發(fā)生目標失配時(shí)，目標跟蹤進(jìn)入非常態(tài)，跟蹤系統須馬上進(jìn)入失配處理程序，且鏈表系統需要對失配的節點(diǎn)進(jìn)行保持連續的多幀，以決定是否從跟蹤鏈表中刪除節點(diǎn)或是恢復節點(diǎn)，以及建立新的節點(diǎn)。非常態(tài)跟蹤的任務(wù)就是處理目標在場(chǎng)景中被局部遮擋(暫時(shí)消失)或是徹底消失，以及新目標進(jìn)入場(chǎng)景的情況。

   多目標跟蹤系統還要判斷和處理的另外兩種情形：目標合并(含目標之間相互的局部遮擋)和目標分離。在檢測鏈表和跟蹤鏈表僅是基于獨立數據關(guān)聯(lián)時(shí)，這種目標分合情況的判別條件相對比較復雜。具體來(lái)說(shuō)，在基于像素集合(Blobs)進(jìn)行跟蹤的系統中，當多個(gè)目標相互靠得很近或發(fā)生局部遮擋時(shí)，一個(gè)大尺度單目標將覆蓋多個(gè)原來(lái)的小尺度目標，這時(shí)可在跟蹤鏈表中觸發(fā)相關(guān)目標合并的標志。由于此時(shí)各個(gè)小尺度目標已失去觀(guān)測值，因此它們需要單獨保持原先的預測跟蹤狀態(tài)(基于預測器)，輸入各自預測器的觀(guān)測向量值由如下表其中p表示在本幀內**剛輸出的先驗預測值，由此帶入**得到本幀內后驗輸出值。該過(guò)程稱(chēng)為“盲跟蹤”階段。在每一幀跟蹤中，都要檢測目標是否被覆蓋，若覆蓋始終存在，則跟蹤鏈表中相關(guān)目標合并標志不能解除。

   5.人臉檢測、跟蹤和識別

   在圖4所示智能視頻分析功能所采用的多層遞階結構內，人臉目標的檢測、跟蹤和識別都是針對實(shí)時(shí)視頻場(chǎng)景而言的。在實(shí)際應用中，人臉目標具有如下一些特點(diǎn)：

   a、有些非高清場(chǎng)景視頻中，圖像質(zhì)量不高;即便是高清視頻，對于某些應用場(chǎng)合(如智能交通的卡口業(yè)務(wù))，獲取的人臉目標尺度(20×20像素)相比基于靜止圖片的人臉識別應用(如公安機關(guān)的靜態(tài)人臉比對系統)的人臉圖片尺寸(128×128像素)小很多;這直接影響到定位人臉區域內的特征點(diǎn)精度，從而降低了識別算法的準確度。

   b、在場(chǎng)景監控內的人臉目標通常容易受到光照條件、局部遮擋、人臉姿態(tài)和表情等因素的干擾，從而使得身份聚類(lèi)的類(lèi)內距離大于類(lèi)間距離，導致誤識率顯著(zhù)增加。

   在多層遞階式場(chǎng)景視覺(jué)監控系統中，人臉識別通常建立在人臉目標檢測和跟蹤之上，為某種具體應用業(yè)務(wù)服務(wù)，其中跟蹤功能和識別業(yè)務(wù)相對獨立。這就決定著(zhù)視頻中人臉識別方式是一種“視頻——圖像(多幅圖像)”模式的人臉識別，后臺利用靜止圖像人臉數據庫進(jìn)行識別或驗證。我們的做法是：對輸入視頻中的人臉進(jìn)行跟蹤,尋找滿(mǎn)足一定規則(如大小、姿態(tài)、清晰度等)的人臉圖像,然后再利用基于靜止圖像的人臉識別方法(如圖5所示)。在圖5中，多個(gè)人臉目標首先被檢測和在視頻的各幀之間連續可靠地跟蹤到，然后依次與人臉數據庫中的特征模型進(jìn)行匹配，最終找到與之最相似的身份信息作為該人臉的視覺(jué)標簽。

   考慮到實(shí)用性效果，人臉檢測的特征通常選取Haar特征或擴展后的Haar特征，可采用瀑布式級聯(lián)分類(lèi)器，通過(guò)Boosting學(xué)習算法得到分類(lèi)器模型參數。多人臉跟蹤原理和大致方法同前面章節所述，多人臉在場(chǎng)景內動(dòng)態(tài)變化由一個(gè)鏈表系統來(lái)管理，特定人臉在場(chǎng)景中運動(dòng)模型由Kalman預測器來(lái)描述。當人臉在場(chǎng)景中丟失觀(guān)測時(shí)，可采用Harris角點(diǎn)信息作為提供可能的人臉特征點(diǎn)所在場(chǎng)景中位置的校驗方案。

   車(chē)牌檢測和牌號識別

   多層遞階式的視覺(jué)監控系統中還有一種觸發(fā)事件檢測的功能模塊(子系統)就是針對車(chē)輛牌號的識別系統。它在智能交通系統和停車(chē)場(chǎng)安全監控中具有廣泛的應用。

   車(chē)牌識別的正確率除了字符識別(OCR)的性能外，還極大地依賴(lài)于車(chē)牌分割定位的準確性。傳統車(chē)牌定位算

   法主要根據車(chē)牌幾何特征及圖像紋理特征進(jìn)行定位，而在相當多的復雜背景條件下，車(chē)牌外觀(guān)表象經(jīng)常不符合標準的特征，這使得車(chē)牌定位算法的可靠性受到嚴重的挑戰：

   .攝像機的安裝位置和拍攝角度不規范;

   .白天環(huán)境光較強及背景陰影的干擾下，邊緣檢測的準確性會(huì )降低;

   .夜晚光照不足，夜間車(chē)燈干擾會(huì )發(fā)生誤判;

   .采集的圖像質(zhì)量導致車(chē)牌區域字符分辨率降低;

   .車(chē)牌泥點(diǎn)遮擋或其它文字干擾了正常的車(chē)牌字符識別區。

   要把車(chē)牌檢測納入機器學(xué)習框架內，垂直邊緣信息和角點(diǎn)信息特征提取通?；诮y計量方式。我們可基于一個(gè)48×16像素大小的掃描窗口對圖像進(jìn)行車(chē)牌模式信號檢測。如可定義統計量區域密度為DG和區域密度方差VG，

   其中，G(i，j)表示位于(i，j)位置上的梯度幅值，N是掃描窗口區域內的像素數量。其中，n表示掃描窗口內被平均分成的子塊數量，gi表示第i個(gè)子塊內梯度幅值的平均值，g表示整個(gè)掃描窗口內梯度幅值的平均值。這清楚地刻畫(huà)出車(chē)牌區域與非車(chē)牌區域的明顯差異。

   車(chē)牌識別的環(huán)節基于字符識別(OCR)核心算法的軟件模塊，這與通用的OCR軟件相比比較簡(jiǎn)單，我們可以加入一些啟發(fā)式的約束條件以提高識別的正確率：

   .通過(guò)現場(chǎng)攝像機定標的方式，得到以像素為單位的具體字符的尺寸規則;

   .字符濾波器：漢字僅在省市簡(jiǎn)稱(chēng)的字符集內，字母在A(yíng)~Z之間，數字在0~9之間;

   .字符串的規則：車(chē)牌字符串的漢字之后，不能以數字開(kāi)始，所有字母都是大寫(xiě)。

   車(chē)牌識別的OCR環(huán)節是在車(chē)輛出現在業(yè)務(wù)場(chǎng)景中的每幀進(jìn)行的，可以把每次識別的結果存入一個(gè)緩沖區，當緩沖區填滿(mǎn)后采用一種投票仲裁的方式，把識別結果相同率最高的那個(gè)字符串作為最終的識別結果。對于實(shí)際的工程(如重大的智能交通工程)，為了使車(chē)牌識別的準確度達到最高的水平，最好能構造一個(gè)符合具體應用場(chǎng)景的字符數據庫，以供OCR軟件能事先學(xué)習得到最好的識別性能。

   具備規則屬性的事件檢測

   事件檢測是多層遞階式視覺(jué)監控系統的最后一層，這層有承上啟下的作用，它把來(lái)自視頻現場(chǎng)的經(jīng)過(guò)前置智能分析層析出的視覺(jué)元素數據(如檢測出的前景目標，被跟蹤的場(chǎng)景中有唯一ID的目標跟蹤軌跡，目標運動(dòng)時(shí)序，場(chǎng)景中目標身份)統籌起來(lái)，檢查是否有定義的規則及受到的觸發(fā)，然后向語(yǔ)義層輸出視覺(jué)監控最終結果，最終以?xún)煞N方式提交：一種是以視覺(jué)告警、事件記錄或快球聚焦的方式給現場(chǎng)操作員，另一種是把這個(gè)事件機器翻譯成用語(yǔ)義表達的接近自然語(yǔ)言的格式，且保存在數據庫中供用戶(hù)層調用，追求的目標就是構造一個(gè)完整的W6(What、Where、When、Who、Why、How)系統。其中事件檢測就是回答How的問(wèn)題。

   規則解釋系統的操作對象是從底層視覺(jué)分析模塊中輸出的視覺(jué)元素數據，這些數據包括場(chǎng)景中目標的位置，它們當前的狀態(tài)、類(lèi)別及特定目標身份信息。事件檢測器還識別目標之間的交互行為兩個(gè)和場(chǎng)景的侵入。另外事件檢測器還利用事件的歷史記錄，因此事件檢測是支持閉環(huán)邏輯分析的。

   在公共場(chǎng)所(如機場(chǎng)和火車(chē)站)的安全業(yè)務(wù)中，遺留包裹或行李包長(cháng)時(shí)間無(wú)人看管是值得關(guān)注的，因出于安全考慮這有可能預示著(zhù)恐怖爆炸案的發(fā)生。作為演示事件觸發(fā)報警的例子，在這里用圖6來(lái)說(shuō)明。

   這是一個(gè)聯(lián)合使用底層事件檢測器和高層事件檢測器的例子。第一個(gè)條件是一個(gè)人離開(kāi)行李箱：這個(gè)行為被檢測到，當一個(gè)被識別為人(或拉行李箱的人)的目標分裂為兩個(gè)目標：即這個(gè)人的目標(現在沒(méi)行李箱了，但原來(lái)的**仍然鎖定他)，和行李箱目標(處于靜止狀態(tài)且被分配了新跟蹤id)。第二個(gè)規則檢查行李箱是否在被監控區域內保持靜止長(cháng)達相應時(shí)間，第三個(gè)規則檢查剛才離開(kāi)行李箱的人是否與行李箱離開(kāi)了相應的距離。第四個(gè)規則檢查人與離開(kāi)的行李箱是否達到了相應的時(shí)間。最后，高層事件檢測器檢查在最近分析的若干幀內，是否上面四個(gè)規則定義的事件都被底層事件檢測器探測到了。如果是，則高層事件檢測器輸出一個(gè)類(lèi)似的事件描述：“一個(gè)人在監控區域A內離開(kāi)了行李箱，并不在那里看管箱子了”。那么這個(gè)警告信息將直接發(fā)送到操作員的人機界面上。

   上述基于規則的推理算法可以采用如圖7所示的“IF-THEN結構”自然語(yǔ)言機制來(lái)現。當然還可采用模糊集方法實(shí)現更加準確的判斷結果。

   結語(yǔ)

   本文提出的系統方案具備柔性的算法功能結構，為適應各種工程應用領(lǐng)域對目標識別和場(chǎng)景事件檢測的需求，可選擇不同功能模塊來(lái)構建智能節點(diǎn)上視頻分析組件，進(jìn)而實(shí)現一個(gè)工程化分布式智能視覺(jué)監控系統。隨著(zhù)視覺(jué)物聯(lián)網(wǎng)時(shí)代到來(lái)，基于大數據環(huán)境下的云存儲和智能視頻分析云計算架構，分布式智能視頻監控系統可向云端視頻監控管理中心提供結構化的海量視頻數據和元數據。