1.
視頻存儲是網絡視頻監控系統應用中非常重要的一個環節。海量的視頻數據通常需要進行長時間的存儲,并為日后的視頻錄像資料檢索、回放等提供服務。用戶可以通過系統提供的應用檢索界面,對某路、某個時間段的監控錄像進行檢索、回放或導出生成文件。從磁帶到硬盤,從IDE到SAS接口,從單磁盤、JBOD到各種RAID技術,從DAS到NAS、SAN架構,存儲領域的每一次技術變革都帶動了視頻存儲領域相應的發展。
視頻監控領域的存儲與民用領域(如視頻網站)視頻的存儲應用不同,民用領域視頻的存儲主要指廣播電視、網絡視頻等,它將視頻文件存儲在服務器上,然后網絡用戶通過對視頻服務器的訪問獲得視頻流,因此,主要是視頻的直播或點播,是從存儲設備中“讀”并播放視頻的過程。而監控領域的視頻存儲主要是“寫”的過程,是將網絡上的視頻數據寫入到磁盤陣列進行保存或備份的過程,當然,在寫的過程中也會并發一定比例的“讀”操作,即網絡用戶對視頻錄像的回放請求操作。
視頻監控系統中采用的存儲設備在數據讀寫方式上具有與其他類型系統不同的特點。視頻監控系統一般具有監控點多(攝像頭數量多)、視頻數據流大、存儲時間長、24小時連續不間斷作業等特點。視頻監控應用中主要是視頻碼流的寫入,具體特點如下:
視頻數據以流媒體方式寫入存儲設備或從存儲設備回放,與傳統的文件讀寫不同。
多路視頻長時間同時寫入同一個存儲設備,要求存儲系統能長期穩定工作。
實時多路視頻寫入要求存儲系統具有高帶寬,且恒定。
容量需求巨大,存儲擴展性能要求高,可在線更換故障設備或進行擴容。
多路并發讀寫時對存儲設備性能要求非常高。
2.視頻存儲的發展過程
如本書先前介紹過的,視頻監控技術的發展過程分模擬視頻監控、數字視頻監控及網絡視頻監控,模擬視頻監控時代的存儲設備是磁帶錄像機(VCR);數字視頻監控時代的代表產品是數字硬盤錄像機(DVR),內置或外掛硬盤是主要的存儲設備;在網絡視頻監控時代,網絡攝像機、編碼器負責視頻的編碼傳輸,而存儲主要采用網絡視頻錄像機,即NVR,NVR具有多種存儲方式,如DAS、SAN可選。在網絡化視頻監控時期,數據呈爆炸性增長,存儲方式變得多樣化,不同的存儲結構都得到應用,DAS、NAS、FCSAN及IPSAN等存儲系統與數字網絡視頻監控系統配合應用,實現視頻數據的海量、高速、實時、穩定的存儲與檢索。視頻監控系統中存儲系統的發展過程如圖12.23所示。
圖12.23中,在數字視頻監控時期,DVR作為數字化存儲設備,通常采用的存儲方式是內置多塊大容量硬盤的方式實施存儲擴展,或通過擴展接口外接磁盤陣列,可以理解為DAS方式的存儲。DAS架構的存儲在早期的單點及小規模DVR系統中,因為部署容易,成本不高而得以廣泛應用,此方式的特點是單服務器(DVR)獨享存儲空間。
存儲系統難以擴展,日后擴容、升級、維護比較困難。
存儲系統無法多機共享,設備利用率不高。
視頻的存儲與回放操作都依賴服務器,服務器負荷較高。
易發單點故障,無法高可靠運行。
隨著網絡視頻監控系統的發展,系統變得分散而規模不斷擴大,因此,存儲系統的容量、帶寬、穩定性、集中管理、易維護、成本等方面均成為重點考慮因素。在此情況下,網絡化、規模化的存儲架構正好可以彌補DAS架構的各種不足,NAS、IPSAN、FCSAN以其良好的網絡性、擴容性、冗余性、易管理性等優勢得到更多的應用。
12.4.2視頻監控存儲需求
對于磁盤陣列在數字視頻監控系統中的應用,主要功能是視頻的存儲及視頻回放檢索。在大型系統中,對于海量的數字視頻數據,存儲系統的負荷是非常巨大的。一方面,系統需要24小時不間斷地工作;另一方面,數據在不斷地寫入的同時可能伴隨著視頻回放、導出等工作。主要性能指標是容量、傳輸帶寬(MB/s)、訪問速度、成本等因素。
對于視頻監控系統,無論是DVR、NVR還是存儲服務器,其核心工作是將視頻碼流寫入磁盤(還有一小部分工作是響應視頻回放請求,讀取視頻數據流),因此,需要按照計劃的碼流值來考慮存儲帶寬(吞吐率)需求。
2.存儲容量需求
通常,對于視頻監控系統,無論是DVR、NVR還是存儲服務器,其核心工作是視頻存儲,而存儲設計的一個重點工作就是存儲容量計算。
其中主要需要考慮的因素如下:
系統中總共有多少個通道視頻需要存儲。
視頻存儲方式,如24小時存儲、預置時間表存儲或報警觸發存儲等方式。
通道的碼流大小,可以由幀率與分辨率情況參考,如4CIF@RT可以按2M計算。
3.磁盤的IO性能
視頻監控系統應用中主要是以一定碼流多路并發寫入數據到磁盤中,并伴有隨機讀取應用。在采用MPEG-4編碼方式的情況下,4CIF分辨率實時碼流一般為2Mbps左右。假如視頻流一次IO最大塊為128kb,則100路需要執行的IO次數為2Mb/s÷128kb×100=1562.5IOPS,而吞吐率為2Mb/s×100÷8=25MB/s。
4.視頻存儲的可靠性
視頻監控系統的數據存儲,具有“養兵千日,用兵一時”的特點,可能存儲系統中幾十TB甚至上百TB的視頻數據,“年年月月日日存儲,日日月月年年覆蓋”。期間甚至沒有人需要進行錄像回放,因為和諧社會,犯罪率極低,沒有事故發生,也就沒有進行回放錄像的需求。
但是,萬一在某個時刻某個地點發生事故,就要求必須能夠調出錄像來,如果恰恰這個攝像頭的這個時間段因為存儲或其他原因而沒有錄像或不能回放,那么,這個系統是失敗的,這叫“百密一疏”,是絕對不能允許的。視頻錄像、存儲絕對不能百密一疏,這實質考核的是視頻監控系統的可靠性。
目前提高視頻數據可靠性的方法如下:
分散存儲、中央備份的方式。
分散存儲、重點錄像備份的方式。
存儲服務器的冗余技術,以保證無間斷工作。
磁盤陣列控制器的冗余技術。
磁盤的冗余技術,如采用各種RAID機制。
磁盤的在線更換機制,通常采用熱備盤實現故障的自動更換。
采用NVR冗余備份技術提高可靠性。
在圖12.25中,DVR采用內置硬盤的方式進行存儲,同時,可以與存儲備份服務器配合使用,對DVR中的重要通道視頻、報警觸發后的視頻進行遠程備份存儲以保證數據的可靠性;而DVS具有本地緩沖存儲以克服網絡不可靠問題,DVS編碼壓縮后的視頻數據發送到網絡上,由NVR進行視頻的存儲與轉發。
與DVR類似,NVR可以與存儲備份服務器配合使用,對NVR中的重要通道視頻、報警觸發后的視頻進行遠程備份存儲以保證數據的可靠性,另外,NVR還可以采用N+1冗余備份方式以實現視頻存儲轉發的高可靠性。
12.4.3視頻存儲的瓶頸說明
無論視頻監控系統的架構如何,其主要流程都是視頻的采集、編碼壓縮、傳輸、存儲與回放等幾個環節,各個環節經過的路由基本是編碼壓縮、網絡、各類服務器和存儲設備。典型視頻監控系統數據流如圖12.26所示,圖中,視頻流從DVS、DVR通過網絡發送過來,存儲設備(NVR、歸檔備份服務器、媒體服務器)將視頻寫入到磁盤陣列中去。
如圖12.26所示,對于視頻(存儲)服務器,實質上包含兩個環節,即“一進一出”。通過前端網絡接口(網卡)進行視頻流的捕獲,然后通過后端存儲接口HBA卡(當然也可能還是網絡接口),如SCSI卡或光纖卡等將視頻流數據寫入磁盤。這里的“視頻(存儲)服務器”,指的是NVR或歸檔服務器(ArchiveServer),主要作用是對編碼后的數字視頻信號進行存儲、轉發、并響應用戶的請求進行錄像回放工作。需要注意,先前介紹的流媒體服務器主要用來進行實時視頻流的轉發工作,采用特殊軟件體系結構,能夠并發支持的通道數量較多,而視頻服務器既要存儲視頻數據,又要進行視頻回放檢索,對數據處理負擔稍大,因此目前能夠支持的視頻通道數量有限,通常的情況是單體設備支持50~100路攝像機接入,且根據碼流不同而不同,從穩定性及成本因素考慮,這個數量級還是合適的。