淺談RAID技術在視頻監控的應用發展
來源:數字音視工程網 編輯:merry2013 2013-07-04 06:39:52 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機: | * |
職位: | |
郵箱: | * |
其他聯系方式: | |
咨詢內容: | |
驗證碼: |
|
視頻監控網絡化步伐已全面展開,大量的監控數據被保存在安裝硬盤的NVR、IP-SAN中,眾所周知,目前大容量硬盤都屬于精密機械部件,本身故障多發,屬于易耗品。那么直接保存在硬盤中的數據必然面臨數據丟失的風險。
在傳統的視頻監控應用中,比如:小區、樓宇、園區監控等,對數據可靠性要求并不高,其監控數據的有效利用率一直保持在很低的比例上,一旦不幸運遇到硬盤故障,損失一塊硬盤的數據對這些應用來講都是可以承受的,大量的嵌入式錄像設備廠商正是看重這一點,推出使用單盤模式的廉價NVR,免去支持硬盤數據冗余帶來的成本提升;由于不做RAID,可以配置同樣廉價的監控級硬盤,大大降低錄像產品與方案的整體成本,低成本優勢大大提升嵌入式NVR的出貨量。
眾所周知,RAID技術可以消除硬盤故障帶來的數據丟失和業務中斷,但是它也對硬盤本身提出要求,一般要求是企業級硬盤,這種硬盤的固件對處于RAID工作環境下的各種狀態進行調優,例如:可以對RAID下多塊硬盤一起工作時產生的共振進行很好的磁頭偏移補償、可以固化一個硬盤錯誤處理的最大響應時間,以免錯誤修復時間過長,被RAID誤以為硬盤不響應而踢掉、支持較好的并發讀寫性能等;這些調優都極大的增強了企業級硬盤在RAID環境的可用性。
如果是低成本的監控級硬盤,由于硬盤固件本身的限制,不能很好的在RAID環境中工作;例如:沒有針對共振的磁盤校正,RAID環境下數據讀寫出錯機率大增,而監控級硬盤并沒有固化錯誤處理的最大響應時間,硬盤忙時一個錯誤處理可長達2~5分鐘,而一般RAID允許的硬盤響應時間為30秒左右,造成RAID掉盤現象增加,甚至連RAID初始化都完成不了;在RAID5工作和重構過程中,在寫數據之前需要讀出大量數據進行校驗計算,但是監控級硬盤的讀性能表現顯然沒有它的寫性能表現好,大量的讀IO隊列經常堵塞,而造成多塊硬盤的響應時間嚴重增加,可能導致批量掉盤。
對于視頻監控應用來說,只有付得起企業級硬盤高成本的高端用戶才可以享受得起傳統RAID技術帶來的數據可靠性好處,傳統RAID技術與監控級硬盤的糟糕兼容表現已經成為向大量視頻監控中低端用戶普及的阻力。
因此,視頻監控應用對傳統RAID技術提出以下挑戰:
1、要求可配置低成本的非企業級硬盤組建RAID組,降低硬盤成本;
2、要求降低大容量硬盤的重建時間,提升重構成功率;
3、要求提升非企業級硬盤RAID組的可用性;
看到以上需求,中科藍鯨公司對傳統RAID算法進行改造和更新,開發了新一代SmartRAID技術,該技術思路是縮小硬盤管理的最小單位,將故障范圍縮小在局部,從而提升硬盤RAID組的整體可用性;同時優化了RAID對監控級硬盤故障的響應時間容忍度,極大提升了非企業級硬盤(包括監控級硬盤)的RAID可用性。
在SmartRAID組建過程中,首先對硬盤進行碎化處理,每塊物理硬盤會被碎化為64份,每塊物理盤相同位置的小數據塊會被組建為一個基本的SmartRAID管理單元,多個SmartRAID管理單元可組建為一個大的邏輯卷對外使用;SmartRAID管理單元具備RAID級別的所有屬性,如介質檢測、故障踢盤、替換熱備、重構等;實際運行情況下,當物理硬盤發生磁道扇區故障,對故障數據塊的掉盤、替換熱備、重建操作都可以在一組SmartRAID內完成,大大減少重構讀取與寫入的IO量,縮短重建完成的整體時間;每塊物理盤的最后4個數據塊是作為熱備使用的。如下圖所示:
使用SmartRAID技術后的好處顯而易見,由于對監控級硬盤故障的響應時間容忍度提升,使用監控級硬盤制作RAID5組的可用性明顯提升,頻繁掉盤現象得到有效解決。
在實際運行表現中,硬盤運行中出現的故障90%都集中在局部錯誤導致的讀寫異常,因電路或機械原因導致的整盤不工作的故障更是少見,因此,當發生硬盤錯誤,SmartRAID技術能夠很好的發揮局部重構優勢,重構完成只需10來分鐘;即使發生整盤故障,SmartRAID也能夠和傳統RAID一樣對整塊物理盤進行踢盤、重構。
而且,如果同時發生兩塊物理硬盤的扇區錯誤,傳統RAID5組遇到這種情況會崩潰,全部數據不可用,但SmartRAID技術能夠很好的將這些故障獨立,分而治之,數據不受影響。
從上來看,SmartRAID技術確實能夠較好滿足視頻監控應用對RAID數據冗余的需求,明顯提升大容量非企業級硬盤的RAID可用性。
評論comment