其實，從前幾年開始，安防廠商就已經(jīng)開始在強調(diào)視頻結(jié)構(gòu)化，經(jīng)過算法的演進和技術的革新，視頻結(jié)構(gòu)化開始大規(guī)模地得到應用。那么，何為視頻結(jié)構(gòu)化?

　　視頻結(jié)構(gòu)化是一種視頻內(nèi)容信息提取的技術，它對視頻內(nèi)容按照語義關系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人理解的文本信息的技術。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化描述技術能夠?qū)⒈O(jiān)控視頻轉(zhuǎn)化為人和機器可理解的信息，并進一步轉(zhuǎn)化為公安實戰(zhàn)所用的情報，實現(xiàn)視頻數(shù)據(jù)向信息、情報的轉(zhuǎn)化。

　　北京深瞐科技 韓會勇 18611928359

　　我們?yōu)槭裁葱枰曨l結(jié)構(gòu)化

　　視頻結(jié)構(gòu)化技術緊緊抓住視頻內(nèi)容信息處理和網(wǎng)絡化共享應用的主線，行業(yè)力爭經(jīng)過若干年的技術攻關和系統(tǒng)建設，全面實現(xiàn)監(jiān)控視頻信息的情報化、視頻監(jiān)控網(wǎng)絡的智慧化，強化警務視頻應用的普適性。即實現(xiàn)以機器自動處理為主的視頻信息處理和分析，并且通過技術手段轉(zhuǎn)化為公安工作可用的情報;實現(xiàn)監(jiān)控網(wǎng)絡之間、終端之間、警種之間的信息共享和主動互操作，實現(xiàn)主動監(jiān)控、自動聯(lián)網(wǎng)分析等網(wǎng)絡功能;全方位拓展視頻在警務工作中的應用模式，大幅度提高技術的易用性，實現(xiàn)以業(yè)務民警為中心的隨時隨地的靈活、簡單、多樣的視頻按需服務應用。

　　除了公安行業(yè)，視頻結(jié)構(gòu)化技術的應用場景也在智能交通展開來。目前電警卡口在圖偵上的應用需求和頻率早就超越了交警，因為案件基本都要與車輛發(fā)生聯(lián)系，這能找出很多的線索。而卡口電警對于車輛的抓拍角度是相對固定的，能夠開發(fā)出相應的車輛特征識別技術，電警卡口屬于業(yè)務需求和技術實現(xiàn)的一個很好的匹配點。這就是視頻結(jié)構(gòu)化的應用儲備，國內(nèi)有部分廠家已經(jīng)開發(fā)出的攝像機能突破平面圖像特征的局限，得到更精準的三維系信息，如人體數(shù)量，高度，物體長度等。

　　視頻結(jié)構(gòu)化技術被廣泛應用

　　在視頻結(jié)構(gòu)化描述的內(nèi)容方面，公共安全關注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構(gòu)化描述信息;對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息;對于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。

　　經(jīng)過視頻結(jié)構(gòu)化處理后，可以達到如下目的：

　　首先，是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后，從百萬級的目標庫中(對應數(shù)百到一千小時的高清視頻)查找某張截圖上的行人嫌疑目標，數(shù)秒即可完成;千萬級目標的庫中查找，幾分鐘即可完成(如果實現(xiàn)云化，速度會更快)。在結(jié)構(gòu)化基礎上進行檢索查詢，可以解決快速目標查找問題。

　　其次，是存儲容量極大的降低，經(jīng)過結(jié)構(gòu)化后的視頻，存儲人的結(jié)構(gòu)化檢索信息和目標數(shù)據(jù)不到視頻數(shù)據(jù)量的2%;對于車輛，不到1%;對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。

　　最后，視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎，視頻經(jīng)過結(jié)構(gòu)化處理后，存入相應的結(jié)構(gòu)化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可以進行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應用價值，提高視頻數(shù)據(jù)的分析和預測功能。

　　視頻結(jié)構(gòu)化分析平臺的基本要求

　　系統(tǒng)具備云計算架構(gòu)，部署應采用集中處理、分級調(diào)閱的方式，具備多級級聯(lián)，動態(tài)結(jié)構(gòu)化處理服務自動分配，具備系統(tǒng)多節(jié)點的平衡負載，重特大事件處理時可并行網(wǎng)絡服務計算能力及集群能力;

　　客戶端應支持C/S架構(gòu)，單個節(jié)點設備最少具備20個用戶并發(fā)訪問;

　　后臺管理應支持B/S架構(gòu)，具備權(quán)限、用戶、結(jié)構(gòu)化任務設置、綜合網(wǎng)管等功能。

　　具備從硬盤錄像機獲取視頻流和錄像文件;

　　具備用戶上傳本地視頻文件;

　　具備對上傳文件進行統(tǒng)一轉(zhuǎn)碼，滿足網(wǎng)絡點播;

　　具備對上傳文件進行結(jié)構(gòu)化視頻合成播放，并能夠基于結(jié)構(gòu)化后視頻的事件標簽回溯播放原始視頻。

　　具備對上傳的視頻文件或視頻流進行結(jié)構(gòu)化分析，滿足視頻內(nèi)活動事件的特征信息提取，通過時間戳與視頻文件關聯(lián)后進行結(jié)構(gòu)化存儲

　　具備對處理文件的內(nèi)容搜索，按視頻內(nèi)活動事件的運行方向、活動范圍、顏色值、大小等特征進行搜索和過濾;同時具備所有視頻時間、地點等條件搜索和過濾。

　　具備對平臺中各個處理單元的實時運行檢測，提供綜合網(wǎng)管模塊，能夠?qū)ζ脚_各服務模塊及設備的資源利用的情況，通過圖表的方式進行直觀展示;

　　具備權(quán)限控制功能，通過為不同用戶指定相應的角色，來控制用戶的可操作范圍。

　　總之，隨著大數(shù)據(jù)和深度學習的發(fā)展，視頻結(jié)構(gòu)化必將會為視頻數(shù)據(jù)的智能化提供強有力的支持，從而使主動式防控系統(tǒng)成為可能。

　　公共安全當前的狀況

　　平安城市的建設起源于“科技強警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設即“3111”試點工程兩大項目。從2004年以來，經(jīng)過十多年的建設，平安城市的視頻存儲規(guī)模已經(jīng)突破EB級，這些巨量的視頻數(shù)據(jù)在社會公共安全管理和案件偵破等工作中越來越扮演著不可替代的作用。在公共安全信息化建設深入開展的背景下，現(xiàn)有視頻系統(tǒng)存在著缺乏深度應用模式、視頻數(shù)據(jù)智慧化程度不高等突出問題。如何用新技術改造現(xiàn)有的視頻系統(tǒng)，使之能更好地適應物聯(lián)網(wǎng)時代視頻智慧化、情報化的應用需求已迫在眉睫。當下主要的問題在于：缺少視頻信息情報的標準化生成方法，進而缺少利用視頻信息情報指導偵查、破案的新型警務工作模式；視頻信息化情報化警務應用各環(huán)節(jié)缺乏統(tǒng)一的標準和規(guī)范。

　　所有這些問題的根本在于對視頻內(nèi)容的不理解，沒有一個高效的、標準化的視頻數(shù)據(jù)交換和視頻情報提取的方法。迎接視頻數(shù)據(jù)深度應用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構(gòu)化描述技術解決通用視頻數(shù)據(jù)向視頻信息化、視頻情報化方向的轉(zhuǎn)化，實現(xiàn)社會公共安全工作模式的創(chuàng)新。

　　2 視頻結(jié)構(gòu)化說明

　　視頻結(jié)構(gòu)化描述是一種基于視頻內(nèi)容信息提取的技術，它對視頻內(nèi)容按照語義關系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人類理解的結(jié)構(gòu)化信息的技術。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化描述技術能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報信息，并進一步轉(zhuǎn)化為公共安全實戰(zhàn)所用的情報數(shù)據(jù)，實現(xiàn)視頻數(shù)據(jù)向信息化、情報化的方向轉(zhuǎn)化，達到視頻感知世界的智慧應用。視頻結(jié)構(gòu)化描述既是海量視頻實現(xiàn)信息化、情報化轉(zhuǎn)化行之有效的技術，也是當前公共安全領域中對視頻結(jié)構(gòu)化處理的一個指向性方案。在視頻結(jié)構(gòu)化描述的內(nèi)容方面，公共安全關注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構(gòu)化描述信息；對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息；對于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。

　　經(jīng)過視頻結(jié)構(gòu)化處理后，可以達到如下目的：首先是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后，從百萬級的目標庫中（對應數(shù)百到一千小時的高清視頻）查找某張截圖上的行人嫌疑目標，數(shù)秒即可完成；千萬級目標的庫中查找，秒級

　　即可完成（如果實現(xiàn)云化，速度會更快）。在結(jié)構(gòu)化基礎上進行檢索查詢，可以解決快速目標查找問題。其次是存儲容量極大的降低，經(jīng)過結(jié)構(gòu)化后的視頻，存儲人的結(jié)構(gòu)化檢索信息和目標數(shù)據(jù)不到視頻數(shù)據(jù)量的2%；對于車輛，不到1%；對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。

　　最后，視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎，視頻經(jīng)過結(jié)構(gòu)化處理后，存入相應的結(jié)構(gòu)化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可以進行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應用價值，提高視頻數(shù)據(jù)的分析和預測功能。

　　3 視頻結(jié)構(gòu)化的應用領域

　　"公共安全"顧名思意,就是事關人民普通大眾的安全.它指得不是某人的安全,也不是某一個特殊群體(譬如某搶劫團伙)的安全,而是指身邊的普通大眾的安全. 公共安全“以人為本”，旨在保障國民安全和社會穩(wěn)定。隨著人類物質(zhì)文明的高度發(fā)展，國家、社會和個人對安全的依賴和企盼達到了前所未有的高度，公共安全所涉及的領域眾多： 公共安全包含信息安全，食品安全，公共衛(wèi)生安全，公眾出行規(guī)律安全、避難者行為安全，人員疏散的場地安全、建筑安全、城市生命線安全，惡意和非惡意的人身安全和人員疏散等； 公共安全事件包含自然災害、事故災難、公共衛(wèi)生事件、社會安全事件。 視頻數(shù)據(jù)作為物聯(lián)網(wǎng)視覺感知的重要來源，在公共安全領域發(fā)揮著越來越重要的作用。而視頻結(jié)構(gòu)化描述是針對非結(jié)構(gòu)化視頻數(shù)據(jù)的深入應用，使得視頻數(shù)據(jù)成為可感知，可描述的智能型數(shù)據(jù)。因此其應用領域極為廣泛，就公共安全來說，視頻結(jié)構(gòu)化描述幾乎滲透到公共安全的方方面面。

　　4 視頻智能分析

　　視頻結(jié)構(gòu)化描述是針對視頻內(nèi)容的智能結(jié)構(gòu)化分析，將非結(jié)構(gòu)化的視頻數(shù)據(jù)進過智能分析形成可供描述的結(jié)構(gòu)化數(shù)據(jù)，因此視頻智能化分析是視頻結(jié)構(gòu)化的核心技術。智能視頻分析技術質(zhì)量的優(yōu)劣對視頻結(jié)構(gòu)化描述影響巨大，為了能更好地進行視頻結(jié)構(gòu)化分析，智能視頻分析必須向如下三個方向進行創(chuàng)新：一、視頻前期處理技術，主要包括圖像防抖動和圖像增強。視頻抖動主要成因是道路監(jiān)控中高架安裝方式帶來的較高頻率的小幅抖動，視頻防抖動能有效抑制智能分析中的誤報和漏報，提高智能分析的準確率；圖像增強是對視頻源進行視覺改善處理，有效改善畫質(zhì)，提高圖像的清晰度，使原本低質(zhì)量的圖像達到清晰可辨程度。二、提升分析準確率技術。如人臉識別技術從最初的特征臉方法過渡到神經(jīng)元網(wǎng)絡方法，由可見光人臉識別到多源光人臉識別。同理，車輛和行為的智能分析也出現(xiàn)了更高效的分析技術。三、視頻后期處理技術，主要包括圖像復原和圖像摘要檢索等。圖像復原就是綜合利用超分辨率、去模糊濾波、變形矯正、色彩調(diào)整等對模糊視頻進行處理，使之清晰可辨。

　　5 視頻結(jié)構(gòu)化需要突破瓶頸

　　海量的視頻圖像數(shù)據(jù)是公共安全部門信息化建設中積累的重要數(shù)據(jù)，通過對視頻內(nèi)容的分析和處理，快速準確的發(fā)現(xiàn)有效線索，能夠充分發(fā)揮視頻資源的作用。然而，在公安信息化建設深入開展的背景下，現(xiàn)有視頻資源缺乏深度應用的模式。其應用的瓶頸是視頻信息如何高效提取，如何同其他信息系統(tǒng)進行標準數(shù)據(jù)交換、互聯(lián)互通及語義互操作。解決這一問題的核心技術即是視頻結(jié)構(gòu)化描述的技術。但是作為一項視頻處理的核心技術，其實現(xiàn)上仍有部分瓶頸需要突破，首先是視頻結(jié)構(gòu)化核心算法技術的突破。如上文所述，視頻結(jié)構(gòu)化描述技術與視頻智能分析技術息息相關，但是當下視頻智能分析技術受到各種應用環(huán)境的制約，以人臉識別為例，當下的人臉識別多半是配合式、重復式應用場景，在這種應用場景下，人臉的識別率基本能達到實用要求，而在無配合、多人臉、動態(tài)視頻的場景下就很難達到實用目標。

　　為了解決這類問題，人臉識別的算法也從最初的模式識別進化到深度的神經(jīng)元網(wǎng)絡學習模式，使得人臉檢測和識別的準確度大大地提高，但是由此帶來的負面效應也相當明顯，首當其沖的就是運算復雜度的提升，需要耗費大量的計算資源，針對這一瓶頸很多業(yè)內(nèi)公司推出了各種解決方案，如計算前端推移，后端借助GPU實現(xiàn)集群化計算等，所有的這些方向都為后續(xù)的視頻結(jié)構(gòu)化描述的實際應用做前瞻，實現(xiàn)高效精準的視頻結(jié)構(gòu)化描述技術成為今后一段時間各個算法研究機構(gòu)的努力方向。其次是視頻結(jié)構(gòu)化描述數(shù)據(jù)存儲，檢索和應用技術，隨著數(shù)據(jù)容量的快速增長，結(jié)構(gòu)化視頻描述也越來越具備“大數(shù)據(jù)”的4V特征。如何實現(xiàn)視頻結(jié)構(gòu)化數(shù)據(jù)的大容量、高效存儲、高效檢索以及快速實現(xiàn)數(shù)據(jù)應用，為最終用戶提供高效靈活的服務，都將成為今后各大視頻綜合應用廠家面臨的問題。

　　再次是頂層設計，構(gòu)建標準體系。通過對視頻結(jié)構(gòu)化技術自身特點和應用模式的研究，建立有關視頻結(jié)構(gòu)化描述的標準體系模型，制定覆蓋技術實現(xiàn)和應用系統(tǒng)的標準化體系，有步驟地制定相關標準，以規(guī)范技術研究和設備開發(fā)，指導系統(tǒng)建設、運行以及評估的各個方面，從源頭上為視頻信息情報化應用的全面展開打好基礎。在這方面由全國安全防范報警系統(tǒng)標準化技術委員會（SAC/TC100）歸口并組織起草的國家標準GB/T30147-2013《安防監(jiān)控視頻實時智能分析設備技術要求》和GB/T30148-2013《安全防范報警設備電磁兼容抗擾度要求和試驗方法》，經(jīng)過國家標準管理委員會發(fā)布，已于2014年8月1日起實施。這些標準的制定，為視頻結(jié)構(gòu)化描述建立共同遵守的規(guī)則和行為規(guī)范，使視頻結(jié)構(gòu)化大規(guī)模應用成為可能。

　　最后是視頻結(jié)構(gòu)化數(shù)據(jù)應用大平臺建設，隨著視頻結(jié)構(gòu)化技術的日趨成熟，如何采集和管理這些巨量的視頻結(jié)構(gòu)化描述數(shù)據(jù)，如何面向公共安全部門提供快速、高效、專業(yè)、個性化的服務也是擺在服務商與業(yè)主面前的難題。例如許多廠家采用“云”和“大數(shù)據(jù)”框架模型做視頻結(jié)構(gòu)化描述技術的平臺架構(gòu)來滿足大數(shù)據(jù)量的數(shù)據(jù)存儲、生命周期管理以及數(shù)據(jù)的快速響應。

　　6 視頻結(jié)構(gòu)化描述技術發(fā)展前景

　　視頻結(jié)構(gòu)化描述技術緊緊貼合視頻內(nèi)容的分析、提取，將非結(jié)構(gòu)化視頻數(shù)據(jù)處理成可供快速檢索定位的信息化數(shù)據(jù)。隨著視頻結(jié)構(gòu)化描述技術的發(fā)展和成熟，必然為視頻數(shù)據(jù)的信息化、情報化、智能化提供強有力的支撐，變視頻的被動防御為主動識別，使相應的系統(tǒng)成為智能，主動式防控系統(tǒng)成為可能，從而打通系統(tǒng)間視頻情報傳遞、打通從前端采集到后端情報化應用。隨著近年視頻系統(tǒng)的建設，社會上已經(jīng)存在巨量的視頻數(shù)據(jù)并且仍然在實時地產(chǎn)生大量的視頻數(shù)據(jù)，所有的這些都為視頻結(jié)構(gòu)化描述技術提供了廣闊的市場前景。