視頻監(jiān)控業(yè)務的大數據特征在視頻監(jiān)控領域,大數據的特點,可用Volume、Variety、Velocity、Value這4個V來概括(如圖1)。
大數據的特點包括以下幾點:
第 一,數據體量巨大(Volume)。 高清化帶來單個監(jiān)控點數據量即以指數級增長,例如單個1080P IPC 30天就會產生 2T數據;IP化大聯網后,各平臺實現互聯,平安城市網內攝像頭數量達數萬數十萬級別,其數據量之巨大可想而知。
第二,數據類型繁多(Variety)。視頻監(jiān)控領域的視頻編碼格式包括:H.264、MPEG-4、MJPEG等多樣化的編碼方式。 而同時隨著各類物聯網技術的融入到視頻監(jiān)控業(yè)務,匯聚了包括各種傳感器、IT、CT系統(tǒng)產生的多樣的數據。業(yè)務系統(tǒng)需要把結構化與非結構化數據相互關聯,統(tǒng)一存儲。
第三,處理速度快(Velocity)。視頻數據隨時間快速增長,并以持續(xù)順序到達。在視頻監(jiān)控領域,視頻分析的效率決定價值,更低的延遲、更準確的分析是平安城市這類客戶的普遍需求。隨著數據量的增加,哪怕對TB級別的數據進行視頻內容的數據分析和檢索,采用串行計算模式都可能需要花費數小時的計算,已遠遠不能勝任時效性的需求。
第四,價值密度低(Value),效率要求高。在視頻監(jiān)控業(yè)務中,價值密度的高低與數據總量的大小成反比。一小時的視頻監(jiān)控內容,可能有用的數據僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”是目前大數據洶涌背景下亟待解決的難題。
視頻監(jiān)控業(yè)務的大數據應用需求隨著數據量的增加,哪怕對TB級別的視頻數據進行對視頻內容的數據分析和檢索,傳統(tǒng)技術模式下可能需要花費數小時的計算,已遠遠不能勝任時效性的要求。用戶希望能夠對海量數據進行有效管理和使用,快速辨別有效數據,提高數據利用價值。
分析大數據產生小數據。攝像頭7×24小時工作,如實記錄鏡頭覆蓋范圍內發(fā)生的一切,僅僅記錄信息是不夠的,因為對于客戶來講可能大部分信息是無效,有效信息可能只分布在一個較短的時間段內,按照數學統(tǒng)計理論,信息是呈現出冪律分布的,或稱之為信息密度,往往密度越高的信息對客戶價值越大。實時涌入的海量數據容易產生大量的休眠數據,浪費大量存儲資源。對海量數據進行智能分析,提取出價值數據片段。建立摘要信息,減少用戶需要面對處理的數據量,形成元數據信息庫。
提純小數據產生價值數據,例如在公安系統(tǒng)中希望能集中分析過去和現在的犯罪數據和視頻圖片,整合所有信息,能提供對犯罪趨勢全面的看法。這就需要針對海量歷史數據實現快速檢索,并對貌似非關聯的數據進行關聯,并在可視化平臺進行呈現,總結出數據規(guī)律,為決策者提供參考和預測未來業(yè)務走向。
視頻監(jiān)控大數據分析所需的關鍵能力。因為視頻監(jiān)控中大體量數據帶來了很多現實中的難題,我們需要在視頻監(jiān)控解決方案中引入大數據技術。基于視頻監(jiān)控業(yè)務的特點,我們認為四類關鍵技術發(fā)揮至關重要的作用。
智能分析能力。基于計算機圖像識別算法,對視頻圖像內容進行理解和分析,生成圖像內容和行為的描述信息,并以結構化或半結構化語言描述,為視頻大數據分析與應用提供基礎;
大數據處理能力?;诖髷祿⑿谢蚍植际教幚砑夹g,如Hadoop,Hbase等,形成面向大數據的分布式存儲與數據管理框架;提供實時和批處理ETL,實現數據清洗/轉換/裝載,以形成價值信息匯聚;
數據挖掘與分析能力。對智能分析元數據的檢索、數據挖掘與分析能力,即對視頻數據的高效利用能力;與非視頻數據整合分析,挖掘事件關聯及產生模式,提升視頻數據價值的能力;
可視化展現能力。對視頻內容的高效檢索、比對和呈現能力;與GIS平臺、情報分析平臺、應急處理平臺等地方平臺視圖整合展現,提升視頻數據實用性的能力。
通過大數據技術,進一步挖掘海量視頻監(jiān)控數據背后的價值信息,快速反饋內涵知識輔助決策判斷將是未來視頻監(jiān)控應用的發(fā)展方向。
視頻智能大數據分析架構
視頻監(jiān)控業(yè)務的核心就是數據,數據就是業(yè)務本身,筆者公司的視頻監(jiān)控大數據架構平臺可以給大型的視頻監(jiān)控項目帶來諸多的裨益。
該智能大數據架構靈活,伸縮彈性更大。實現計算、存儲資源云化部署,設備自組網、自管理,業(yè)務永不中斷,按需彈性擴容。支持分布式檢索引擎,通過分布式數據庫MongoDB,支持海量數據存儲,10億條記錄,秒級即可完成數據檢索和呈現。
開放架構,智能分析插件化、可擴展,ISV定制開發(fā)簡單快捷。開放架構,第三方智能分析插件可無縫集成;提供智能算法、智能分析應用服務REST標準接口,支持ISV定制開發(fā)。
豐富的智能分析能力,支持可視化操作管理和圖形化研判分析。實現可疑行為自動報警、全網點實時布控、人/車精準識別、視頻內容高效檢索、案件智能分析、以及設備故障自診斷。
從大數據架構圖(圖2)可以看到:
DAU(分布式分析單元):支持流式計算,可分布式部署,對含視頻在內的媒體內容進行智能分析;通過媒體數據預處理,支持插件業(yè)務框架,可引入各類第三方算法插件,基于ONVIF/PSIA數據封裝器,對協(xié)議進行適配;
DPU(數據處理單元):提供包括第三方數據接入適配,進行數據的匯聚,并對非結構化數據歸檔,通過數據轉換引擎,實現數據的清洗和轉換,另外根據規(guī)則引擎下發(fā)實時告警規(guī)則上報實時告警信息;
DMU(數據挖掘單元):規(guī)則模型管理,采用可視化界面定義業(yè)務規(guī)則(Schema);為加快數據處理實時性,引入高效率的內存數據庫技術。經過前面數據處理層處理后的數據,以關系型數據形式進行存放;
AE(應用環(huán)境):業(yè)務應用及呈現,提供業(yè)務生成框架,用戶可進行靈活的業(yè)務配置。統(tǒng)一數據訪問接口,應用開發(fā)環(huán)境,便于第三方合作伙伴進行整治業(yè)務應用開發(fā)。
大數據視頻監(jiān)控構架帶來的價值
大數據視頻架構是革命性的技術,特別在實時智能分析和數據挖掘方面,讓視頻監(jiān)控從人工抽檢,進步到高效事前預警、事后分析,實現智能化的信息分析、預測,為視頻監(jiān)控領域業(yè)務帶來深刻的變革(如圖3):
平安城市領域,實時匯總并綜合分析各種公共安全數據和資料,為執(zhí)法人員快速準確應對提供科學依據:如實時調閱現場視頻錄像、犯罪嫌疑人記錄、同一地區(qū)的相似案件資料;進行地理、時間和空間的比較分析,揭示其犯罪模式和行為模式;追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種數據對不同來源的資料進行綜合分析,制作指揮圖。
智能交通行業(yè),可以輕松監(jiān)控攝像覆蓋范圍內的所有車輛的行駛狀態(tài)、運行軌跡,快速分析出其是否違章,通過對海量交通數據的比對、分析和研判,實現指定車輛行駛路徑、道路擁堵研判等功能。
云服務領域:實現基于大數據的視頻監(jiān)控云服務,讓攝像機僅通過互連網就能連接云端的視頻監(jiān)控托管服務,通過快速、智能地分析部署在云端的大數據,為小型企業(yè)、零售商店、餐館酒店等提供實時的監(jiān)控視頻和潛在的風險管理,甚至能提供收費的基于視頻內容的分析報告,如日常的客戶數,平均隊列長度等,創(chuàng)造新的商業(yè)模式。
大數據技術和視頻監(jiān)控的結合,把孤立的視頻內容通過大數據技術的加工,形成可視化結果呈現,這種轉變可為視頻監(jiān)控業(yè)務創(chuàng)造更加智能高效的使用方式,讓用戶從繁重的觀看視頻監(jiān)控勞動中解脫出來,能輕松自如地通過視頻監(jiān)控進行高效準確的決策。
總結
視頻監(jiān)控進入網絡化時代以后,越來越多融入IT新興技術,大數據技術在視頻監(jiān)控領域的廣闊發(fā)展路徑已經顯現,筆者公司正致力于把大數據技術和視頻監(jiān)控業(yè)務實現融合,以打造出大數據時代的視頻監(jiān)控解決方案。