主頁（http://www.130131.com）：淺談集群存儲(chǔ)技術(shù)

【中國集群通信網(wǎng)】隨著網(wǎng)絡(luò)視頻行業(yè)不斷走向成熟，越來越多的企業(yè)都參與到視頻網(wǎng)站建設(shè)中來，競(jìng)爭(zhēng)愈加激烈，而帶寬、服務(wù)器、存儲(chǔ)、編解碼等各項(xiàng)技術(shù)直接關(guān)系到競(jìng)爭(zhēng)優(yōu)勢(shì)。存儲(chǔ)系統(tǒng)作為視頻數(shù)據(jù)的載體，其IO性能和可擴(kuò)展性、可靠性對(duì)整套系統(tǒng)架構(gòu)起著至關(guān)重要的作用。

　　集中存儲(chǔ)

　　在面對(duì)海量數(shù)據(jù)存儲(chǔ)時(shí),以往用戶會(huì)采用傳統(tǒng)的使用方法：集中存儲(chǔ)，將所有的數(shù)據(jù)存放于一個(gè)單一大容量盤陣或者存儲(chǔ)服務(wù)器中，并采用較高等級(jí)的RAID進(jìn)行數(shù)據(jù)保護(hù)(如RAID 5、RAID 6等)。

　　這種類型的方案確實(shí)給用戶帶來了一定的益處，那就是數(shù)據(jù)可以集中管理，用戶不用忙于數(shù)據(jù)遷移工作。但集中存儲(chǔ)方案中整套業(yè)務(wù)的可靠性完全集中于單個(gè)存儲(chǔ)設(shè)備之上，用戶將所有數(shù)據(jù)集中存放將會(huì)帶來集中崩潰的反作用。而且故障發(fā)生點(diǎn)也不僅局限于磁盤，網(wǎng)絡(luò)、RAID控制器、供電、系統(tǒng)、人為誤操作等各類故障都潛在威脅著數(shù)據(jù)安全，任何一點(diǎn)的故障都可能造成服務(wù)中斷，甚至數(shù)據(jù)丟失。

　　數(shù)據(jù)存儲(chǔ)采用集中式存儲(chǔ)時(shí)，所有的數(shù)據(jù)讀寫都必須通過其有限的IO總線。尤其在視頻分享一類的應(yīng)用中，大量用戶并發(fā)訪問會(huì)給存儲(chǔ)系統(tǒng)帶來巨大的IO壓力。

　　分散存儲(chǔ)

　　數(shù)據(jù)的分散存儲(chǔ)結(jié)構(gòu)將服務(wù)器的計(jì)算資源與存儲(chǔ)資源緊緊地綁定在一起，等于是各項(xiàng)資源被困在某一處。在計(jì)算資源方面，即使是一部分熱點(diǎn)數(shù)據(jù)前端的應(yīng)用服務(wù)器計(jì)算處理能力不足，大部分較為冷門數(shù)據(jù)前端的應(yīng)用服務(wù)器也得不到充分利用。在存儲(chǔ)資源方面，也存在部分存儲(chǔ)系統(tǒng)空間被耗盡，而其他存儲(chǔ)系統(tǒng)卻只有小部分?jǐn)?shù)據(jù)。這樣，由于資源難以靈活調(diào)度，龐大的計(jì)算資源和存儲(chǔ)資源利用率低下。

　　在數(shù)據(jù)量不斷擴(kuò)大的情況下，存儲(chǔ)的規(guī)模也會(huì)不斷擴(kuò)展，整套存儲(chǔ)平臺(tái)的管理維護(hù)工作的難處也就逐漸地凸現(xiàn)出來，平臺(tái)的潛在故障對(duì)數(shù)據(jù)安全性的威脅也逐漸增大。

　　數(shù)據(jù)一旦被分散存儲(chǔ)到多套存儲(chǔ)系統(tǒng)上，各存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)、磁盤、軟件BUG、人為誤操作等各種危險(xiǎn)故障，都會(huì)給部分?jǐn)?shù)據(jù)造成威脅。并且，隨著規(guī)模擴(kuò)大，各種故障出現(xiàn)的概率也就越大。管理員為了保障數(shù)據(jù)的安全而忙于處理數(shù)據(jù)備份、遷移，過多的人為參與也增加了誤操作的危險(xiǎn)。

　　集群存儲(chǔ)

　　目前，非結(jié)構(gòu)化數(shù)據(jù)爆炸性增長、傳統(tǒng)存儲(chǔ)系統(tǒng)難以滿足需求，于是誕生了一種新型數(shù)據(jù)存儲(chǔ)方案：集群存儲(chǔ)。它采用數(shù)據(jù)分布到集群中各節(jié)點(diǎn)上的存儲(chǔ)方式，提供單一的使用接口與界面，使用戶可以方便地對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)一使用與管理。集群存儲(chǔ)將集群中所有磁盤設(shè)備整合到單一的共享存儲(chǔ)池中提供給前端的應(yīng)用服務(wù)器，極大提高了磁盤利用率。集群存儲(chǔ)系統(tǒng)同時(shí)集合了NAS的數(shù)據(jù)共享和SAN的高性能等特性，可以為非結(jié)構(gòu)化數(shù)據(jù)提供具備極高IO帶寬和靈活可擴(kuò)展性的存儲(chǔ)解決方案。

　　集群存儲(chǔ)現(xiàn)在已經(jīng)發(fā)展到了一個(gè)成熟的時(shí)期，多款成熟的產(chǎn)品已經(jīng)在不同的生產(chǎn)領(lǐng)域得到實(shí)際使用，幫助企業(yè)提升競(jìng)爭(zhēng)力。例如，著名視頻分享網(wǎng)站Youtube，使用Google的GFS等集群存儲(chǔ)技術(shù)搭建了極具伸縮性和性價(jià)比的集群存儲(chǔ)架構(gòu)，以支撐極高的并發(fā)訪問量和視頻上傳量，具有高聚合帶寬和高可用的特點(diǎn)，并很好地控制了軟硬件費(fèi)用支出，為業(yè)務(wù)長期運(yùn)轉(zhuǎn)打下了良好基礎(chǔ)。

　　LoongStore大規(guī)模集群存儲(chǔ)系統(tǒng)是北京龍存科技有限責(zé)任公司的旗艦產(chǎn)品，具有自主知識(shí)產(chǎn)權(quán)。那么，該產(chǎn)品是如何解決視頻分享網(wǎng)站所關(guān)心的存儲(chǔ)難題的呢?

　　如何滿足視頻分享不斷增長的IO帶寬和存儲(chǔ)容量需求?LoongStore大規(guī)模集群存儲(chǔ)系統(tǒng)由應(yīng)用服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群、智能存儲(chǔ)服務(wù)器集群等三部分組成，各部分都以通用服務(wù)器硬件為構(gòu)建單元，并且都具有動(dòng)態(tài)擴(kuò)展能力。當(dāng)視頻分享服務(wù)器增加、IO帶寬需求增加時(shí)，用戶可以動(dòng)態(tài)添加智能存儲(chǔ)服務(wù)器，以獲得更高的聚合帶寬和更大的存儲(chǔ)容量。

　　存儲(chǔ)集群中有軟硬件故障是否會(huì)影響業(yè)務(wù)正常進(jìn)行?LoongStore大規(guī)模集群存儲(chǔ)系統(tǒng)在集群環(huán)境中使用了數(shù)據(jù)高可用技術(shù)，可以避免因節(jié)點(diǎn)、網(wǎng)絡(luò)、系統(tǒng)等故障和人為誤操作引起的業(yè)務(wù)中斷和數(shù)據(jù)丟失，系統(tǒng)內(nèi)置的故障恢復(fù)流程可以在無用戶參與的情況下完成處理。

　　LoongStore已經(jīng)被國內(nèi)多個(gè)大型視頻分享網(wǎng)站所采用。由于使用通用的服務(wù)器硬件，用戶無需考慮兼容性、價(jià)格、復(fù)雜的配置等因素。在實(shí)際使用中，LoongStore存放著上千萬個(gè)視頻短篇，提供數(shù)百TB的存儲(chǔ)容量、高達(dá)數(shù)GB的聚合帶寬，企業(yè)以更低的支出成本獲得了更高的IO性能，管理員也從原來數(shù)據(jù)遷移與故障恢復(fù)工作中脫離出來。