得益于IT信息技術的快速進步，人類可以隨時隨地記錄下產生的各類數據，而同時數據存儲的成本也正以前所未有的速度下降，一個大數據的時代在悄然來臨。根據IDC預測，全球在2010年正式進入ZB時代，全球數據量大約每兩年翻一番，意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。爆炸式增長的數據，正推動人類進入大數據的時代。

　　大數據是飛速增長的，用現有數據庫管理工具難以管理所有的數據集合。這些數據包括：社交媒體、移動設備、科學計算和城市中部署的各類傳感器等等，其中視頻又是構成數據體量最大的一部分。在視頻監控大聯網、高清化推動下，視頻監控業務步入數據洪水時代不可避免。如圖1所示。

　　圖1 全球數據規模預測

　　視頻監控數據有兩個方面的內涵——海量和非結構化。視頻監控數據量規模龐大，并且隨著高清化、超高清化的趨勢加強，視頻監控數據規模將以更快的指數級別增長;與通常講的結構化數據不同，視頻監控業務產生的數據絕大多數以非結構化的數據為主，這給傳統的數據管理和使用機制帶來了極大的挑戰。

　　數據“洪水”帶給視頻監控的困境

　　飛速增長的視頻監控數據，使得傳統視頻監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。如圖2所示。

　　圖2 視頻監控大數據時代面臨的困境

　　困境一，數據量的急劇擴大和IT投資之間的矛盾。按照I T產業的法則：在滿足客戶需求的前提之下，往往技術成本越低，其生命力越強。由于數據量的急速擴大，以及隨之而來的大規模計算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重，客戶越來越希望在滿足需求的前提下，用中低端的硬件來替換高配硬件。

　　困境二，海量數據和有效數據之間的矛盾。攝像頭7×24小時工作，如實記錄鏡頭覆蓋范圍發生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信息是無效，有效信息可能只分布在一個較短的時間段內，按照數學統計的說法，信息是呈現冪律分布的，也稱之為信息的密度，往往越高密度的信息對客戶價值越大。

　　困境三，資源利用和效率之間的矛盾，串行計算和并行計算的矛盾。視頻監控業務網絡化、大聯網后，網絡內的設備越來越多，利用閑置的計算資源，實現資源的最大化利用，關乎運算的效率。在視頻監控領域，往往視頻分析的效率決定價值，更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數據量的增加，哪怕對TB級別的數據進行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。視頻的分析和檢索，不能依賴于傳統的手段，巨量數據的效率優化，并行計算是視頻智能分析的唯一出路。

　　因為大數據帶來了很多現實中的難題，為了解決這些難題需要新的技術變革，需要新一代的數據庫技術，業界稱之為大數據技術 。IDC這樣定義大數據技術：大數據技術將被設計用于在成本可承受（economically）的條件下，通過非常快速（velocity）的采集、發現和分析，從大量化（volumes）、多類別（variety）的數據中提取價值（value），將是IT領域新一代的技術與架構的變革。Had oop技術正是在此背景下誕生，歷經數年的積累，Hadoop已成長為一個強大的生態系統，不但衍生出HDFS、HBase、Hive等多個子項目，成為IT領域廣泛采用的大數據模型框架。

　　欲了解更多視頻監控或智能安防技術與市場，請關注并參與ETD第13期：智能安防技術沙龍！（火熱報名中）