主頁(http://www.130131.com):大華許焰:視頻云讓數(shù)據(jù)價值視頻能力發(fā)揮更完整 5月18日,由中國電子學(xué)會主辦,ZD至頂網(wǎng)協(xié)辦的第八屆中國云計算大會在北京國家會議中心舉辦,浙江大華技術(shù)股份有限公司研發(fā)中心副總經(jīng)理兼大數(shù)據(jù)研究院院長許焰帶來了關(guān)于視頻云的心得分享。
許焰表示:“視頻云本質(zhì)上是一朵能力云,我們希望提供云存儲服務(wù)幫助用戶解決海量視頻圖像存儲問題。我們希望圖像云識別幫助用戶解決大規(guī)模圖像計算能力,我們希望開放大數(shù)據(jù)能力,幫助大家解決行業(yè)上大數(shù)據(jù)挖掘的能力,我們希望提供這樣一朵云讓我們用戶讓我們上層用戶變得更加簡單,數(shù)據(jù)價值視頻能力可以發(fā)揮更加完整。” 以下是許焰演講實錄:(以下內(nèi)容根據(jù)現(xiàn)場速記整理,未經(jīng)發(fā)言嘉賓確認,僅供參考,謝絕轉(zhuǎn)載。)大家下午好,今天我主題演講是視頻云平臺的創(chuàng)新與實踐。 視頻云的火爆給我們所有人把目光從最早從文字到圖片到音頻到現(xiàn)在視頻應(yīng)用,讓我們從數(shù)據(jù)應(yīng)用改變成完全全新方式,在我們數(shù)據(jù)里面其實我們視頻數(shù)據(jù)占76%,這76%的里面又有絕大多數(shù)的數(shù)據(jù)由攝象頭產(chǎn)生的。很多人對攝象頭沒有概念,攝象頭帶來多少數(shù)據(jù)量?我們以高清數(shù)據(jù)為例,一個攝象頭一個月帶來1.3TB,一年帶來15.6億TB大華公司一年生產(chǎn)兩千多萬的攝象頭,一個月帶來8個億TB的數(shù)據(jù)量。我們公司過去十幾年的時間里面一直持續(xù)保持每年40%以上的速度快速成長,我們成為全球第二大視頻監(jiān)控的設(shè)備以及解決方案的供應(yīng)商,憑借我們十幾年技術(shù)視頻領(lǐng)域的技術(shù)積累,我們不停在新領(lǐng)域進行探索和創(chuàng)新,其中包含我們視頻云,我們視頻云和普通云有什么區(qū)別?我們視頻云我們更多希望開放十幾年來在視頻技術(shù)上的積累,我們希望把我們云開放出來,因此它本質(zhì)上是一朵能力云,我們希望提供云存儲服務(wù)幫助用戶解決海量視頻圖像存儲問題。我們希望圖像云識別幫助用戶解決大規(guī)模圖像計算能力,我們希望開放大數(shù)據(jù)能力,幫助大家解決行業(yè)上大數(shù)據(jù)挖掘的能力,我們希望提供這樣一朵云讓我們用戶讓我們上層用戶變得更加簡單,數(shù)據(jù)價值視頻能力可以發(fā)揮更加完整。 四年前我們公司開始嘗試做云計算,我們想做云計算是面向行業(yè)的,面向視頻甚至面向視頻監(jiān)控領(lǐng)域的云。行業(yè)云跟我們普通云計算有什么區(qū)別?在課程上,我們需要一個優(yōu)化的IaaS,我們需要面向行業(yè)的PaaS,我們需要面向各種需求的SaaS,我們考慮這個問題我們毋庸置疑必須考慮我們行業(yè)特征數(shù)據(jù)以視頻圖像為主,對于IaaS最基本是存儲服務(wù),對于面向視頻存儲跟我們普通存儲有哪些不一樣,我們數(shù)據(jù)平均規(guī)模在3個PB,遠大于我們所見互聯(lián)網(wǎng)客戶或者傳統(tǒng)數(shù)據(jù)量。我們海量視頻數(shù)據(jù)大量進行存儲,少量進行讀出和播放,它的特點跟互聯(lián)網(wǎng)讀多寫少的特點完全不一樣。第三點因為我們數(shù)據(jù)量特別龐大,而且數(shù)據(jù)里面的價值密度又有很低,因此客戶對于這種成本非常之敏感,還有視頻數(shù)據(jù)最重要一點它跟文本不一樣,它一定配合流媒體我們才可以對數(shù)據(jù)進行播放或者對數(shù)據(jù)進行解析。同時它在擴展性以及數(shù)據(jù)生命周期上跟我們傳統(tǒng)云存儲都有很多不一樣。 當我們大華圍繞視頻數(shù)據(jù)構(gòu)建我們視頻云存儲的時候核心功能包含三塊。第一塊攝象頭的接入管理,第二塊分布式文件系統(tǒng),第三塊流媒體服務(wù)。我們希望構(gòu)建的視頻云無須我們前端攝像頭廠商做任意開發(fā),不用調(diào)SDK可以接入我們云端,我們支持攝像頭各種協(xié)議,我們支持市場上所有主流攝象頭的私有協(xié)議,幾乎你想得到的都可以任意接入。我們也在第二塊分布式文件系統(tǒng)上也是業(yè)界唯一第一家推出以視頻流式方式寫入的對象存儲系統(tǒng)。同時我們支持以流式實時做容錯方法。在一套系統(tǒng)上面一起支持面向海量大文件的視頻存儲,海量面向圖片、文檔小文件存儲。在流媒體我們擁有很強各種視頻的編輯碼、我們支持各種各樣的視頻格式,我們視頻云存儲理念,是希望用戶你只要有攝象頭我們幫助你接入,數(shù)據(jù)流自動流到我們云平臺,你所做的就是以文件流媒體使用這些數(shù)據(jù)。 對存儲而言最重要毋庸置疑就是可靠性尤其對于我們行業(yè)用戶而言。對于視頻監(jiān)控我們數(shù)據(jù)是時時7乘24小時不間斷的寫入,我們很多硬盤不支持這種模式,因為它支撐不了這種不停工作的模式,隨著硬盤變得越來越大,我們硬盤故障帶來的恢復(fù)周期變得慢慢不可接受,我們一塊4KP的為例,我恢復(fù)周期四天四夜才能把這塊硬盤恢復(fù)。我們在新聞上看到這個地方發(fā)生一個案件我們需要查錄像,他告訴我們錄像沒了,實際上以前很多安防存儲系統(tǒng)可靠性很低,平時沒有人看這個錄像你不知道這個設(shè)備已經(jīng)出現(xiàn)故障了,當你看的時候你發(fā)現(xiàn)它故障了。我們最初構(gòu)建我們云存儲第一目標解決數(shù)據(jù)可靠性問題,因此我們采用流式實時寫入,不可能采用高成本多復(fù)本技術(shù),這種技術(shù)讓我們原來幾天幾夜恢復(fù)一塊硬盤數(shù)據(jù),我們減到一小時幾分鐘我們就可以恢復(fù),這是幾十倍的提升,不僅僅給我們帶來可靠性的提升,給我們帶來某種程度上成本的下降,用戶可以用更加廉價的硬件廉價硬盤提供高可用的服務(wù)。 任何創(chuàng)新本質(zhì)無非是說我們能不能降低成本,或者我們能不能提升效率?對于我們行業(yè)來講最大客戶痛點就是說客戶下載錄像非常慢,我們以前很多公安客戶給我們抱怨說我下載一個攝象頭十天十夜數(shù)據(jù)我要花三天時間下載完,當我下載完這個嫌疑犯都不知道跑到哪里去了,我們考慮以前為什么下載這么慢?因為我們以前所有存儲系統(tǒng)都有最大問題就是數(shù)據(jù)熱點問題,我們有很多攝象頭也有很多存儲設(shè)備,每一個攝象頭分到不同存儲設(shè)備商,當我要這個攝象頭只有這一個存儲設(shè)備給我們提供服務(wù),我們采用云的架構(gòu)完全打破數(shù)據(jù)的熱點,保證我們數(shù)據(jù)聚合讀寫,數(shù)據(jù)分散存儲能力,讓我們將24小時視頻容量差不多是43個PB我們花一分鐘最快就可以下載到我們本地,這是我們提供高性能的東西。這個高性能給我們帶來用戶的效率是極大的提升。 當然我們很多人在談今天我們是DT的時代,DT時代核心在于我們數(shù)據(jù)是不是能夠?qū)崿F(xiàn)共享?我們數(shù)據(jù)是不是能夠?qū)崿F(xiàn)融合?但是對于行業(yè)用戶而言我們傳統(tǒng)的建設(shè)都是煙囪式建設(shè),一套應(yīng)用一個服務(wù)器一套存儲是非常之專用的,專用有專用的好處,因為它可以解決固定的問題。比如說我們在安防這個行業(yè)以前我們怎么干?如果我們需要一套安防的存儲我們只需要開發(fā)一個流媒體,然后在利用本地的文件系統(tǒng)就可以把這個數(shù)據(jù)存起來。但是這種模式在我們最早期的時候發(fā)現(xiàn)因為經(jīng)過大量的數(shù)據(jù)寫入又不停的數(shù)據(jù)刪除,文件系統(tǒng)帶來最大問題就是碎片化,碎片變多了它的性能就集聚下降,我們整個行業(yè)機會所有廠商都做一件事情就是做優(yōu)化,做優(yōu)化我們把本地文件系統(tǒng)完全拋棄掉,流媒體數(shù)據(jù)寫進來將硬盤從頭到底寫到底,然后從頭覆蓋再寫到底,這是最佳的優(yōu)化。當今天我們以DT角度去看這個我們思考我們這么做我們數(shù)據(jù)能否實現(xiàn)共享,我們存儲能否實現(xiàn)我們?nèi)诤系南敕?因此我們也是我們整個行業(yè)第一家推出以融合架構(gòu)數(shù)據(jù)分享這種架構(gòu)體現(xiàn)云存儲的形式。 攝象頭數(shù)據(jù)跟我們看到物聯(lián)網(wǎng)很多其他的傳感器它都有一個共性,因為它是數(shù)據(jù)7乘24小時不間斷產(chǎn)生的過程,這種應(yīng)用對我們來講讀出寫入到底哪一個更重要?對于寫入而言如果我們數(shù)據(jù)暫時不能讀出,它只能暫時影響我應(yīng)用是暫時不可用的,但是我數(shù)據(jù)出現(xiàn)中斷不能寫入,意味著我們整個系統(tǒng)發(fā)生了數(shù)據(jù)丟失,發(fā)生數(shù)據(jù)丟失以后我們不可能有下面更多的應(yīng)用,因此對這種系統(tǒng)來講它的寫入遠遠比讀出更加重要。但是如果我們寫入比讀出更重要,我們現(xiàn)在主流看到所有的存儲,尤其是分布式存儲的設(shè)計都是不滿足的。我舉個例子我們很多存儲設(shè)計我們考慮有節(jié)點故障、硬盤故障甚至網(wǎng)絡(luò)的故障,考慮原數(shù)據(jù)服務(wù)的故障,我們發(fā)現(xiàn)原數(shù)據(jù)故障基本的數(shù)據(jù)都進入只讀的模式,意味著我們應(yīng)用是災(zāi)難性的應(yīng)用。原數(shù)據(jù)還是有可能發(fā)生故障我們考慮這種狀況的時候,我們云存儲發(fā)生原數(shù)據(jù)故障退到NaaS數(shù)據(jù),原數(shù)據(jù)恢復(fù)之后我們數(shù)據(jù)可以遷移到云存儲進行分散存儲,這是取巧的做法但的確滿足我們這種運用。 我們整個互聯(lián)網(wǎng)領(lǐng)域我們云計算領(lǐng)域我們有一句話三分靠技術(shù)七分靠運維,這個運維其實非常重要,我們可以遠程的運維,甚至可以去做很多事情,但是行業(yè)用戶不允許我們存儲有任何跟外面接觸。也就是你不能去插網(wǎng)線,不能遠程看到你這個存儲設(shè)備,那怎么辦?我們必須要靠技術(shù)。我舉個很簡單的例子我們有很多云系統(tǒng)給到公安客戶,他沒有標準機房沒有空調(diào),這個設(shè)備可能工作在他一個辦公室,可能溫度達到40度50度的工作時間,這個系統(tǒng)也要保證穩(wěn)定運行。還有我們客戶沒有很好UPS,它的電源不穩(wěn)定,可能經(jīng)常斷電又重新來電,這時候我們傳統(tǒng)的存儲或者我們常見的分布式存儲,都扛不住各種各樣的異常,但是我們云存儲它必須考慮行業(yè)用戶各種各樣的亂七八糟的需求。也必須要保證我們存儲擁有很高可靠性。 存儲只是解決我們一個需求,數(shù)據(jù)等存進去有讀出來,我們希望的東西一定說這個數(shù)據(jù)落進去以后我們能不能發(fā)揮這個數(shù)據(jù)價值,這是我們PaaS平臺要做的事情。我們PaaS平臺第一件做視頻內(nèi)容識別,第二件我們提供大數(shù)據(jù)服務(wù)。視頻識別我們針對視頻濃縮、視頻摘要、人臉識別。大數(shù)據(jù)我們就是數(shù)據(jù)存儲、數(shù)據(jù)碰撞,多維多表格的應(yīng)用;跁r間、空間兩個完全不同的數(shù)據(jù)碰撞,我們支持交通卡口里面我們想支持同行車兩輛車是不是一直開,也有支持套牌車行業(yè)定制化服務(wù)。視頻濃縮是一種什么技術(shù)?可以將我們一段很長視頻里面所有目標全部摘出來以后我們再重新打亂到這個時間然后更加高密度的方式把目標全部疊加到原來背景上進行重新播放,這種技術(shù)讓我們原來看一段一小時的視頻我們只需要花36秒就看完了,也可能更短也可能更長,取決于這個視頻內(nèi)容有多長。我們?yōu)榱说玫?6秒視頻要做哪些準備?我們首先把原來一小時視頻下載下來這個要花掉15分鐘時間,然后把這一小時上傳到我們智能服務(wù)器又花15分鐘時間,然后我們原來單機智能服務(wù)器點擊做濃縮動作又花掉15分鐘時間,因此我們對一小時視頻處理準備得花掉45分鐘,很多人想那我還不如快進完來得快。我們搬到云端帶來好處就是把原來一小時45分鐘得到一個結(jié)果,直接變成一分鐘,一小時一分鐘濃縮我們瞬間可以看到里面我們所有要的目標,這是云給我們效率帶來的極大提升,這是我們視頻濃縮的效果,如果我不告訴你這是我們一段處理過的視頻,也許你不知道這個視頻怎么樣的,它原來是非常稀疏的廣場,幾分鐘才經(jīng)過一輛車,這么幾個小時的視頻我們可以短短幾十秒內(nèi)就可以把這個視頻看完。 理論上當我們擁有視頻濃縮這個技術(shù)意味著我們可以對視頻里面內(nèi)容目標進行提取,提取完了之后自然而然很多人想到我其實可以對這個目標進行二次識別的,二次識別我們可以對里面特征進行提取。比如說我今天穿一件T恤衫、牛仔褲,衣服顏色是什么,是男是女,我往哪個方向移動,可以自動標注,標注完以后我們可以對視頻內(nèi)容進行檢索。舉個例子比如說最右邊我們以白色條件為例去搜索視頻里面的目標我們拿到是所有白色的目標,當我們從東往西運動這個方向作為條件的時候我們得到的就是中間這些所有的目標,他所有的運動方向都是從東往西運動。我們以人過濾我們得到所有人的目標,而且這個視頻是一段非常普遍普通我們街頭所拍到的一個視頻。 視頻濃縮這種技術(shù)它其實是非常粗粒度視頻識別的技術(shù),我們很多人希望有更加細粒度的技術(shù)去處理,比如說我要做人臉識別,我識別這個人是否戴眼鏡,這個人有沒有戴帽子,這個人衣服紋理是什么,顏色是什么?我們可以支持千萬級人臉庫一秒鐘可以比對完。我們同時可以支持車做更加細粒度的,你車開在路上經(jīng)過十字路口就拍下來,拍下來我們細粒度識別,識別出來不僅僅有牌子,是一輛什么樣的車,是貨車還是小轎車,是2014年的奧迪款,識別主駕駛員有沒有系安全帶,你有沒有用什么東西遮住你臉部,根據(jù)車窗特征,是不是放一個紙巾盒,有沒有掛件,各種特征形成一個庫,這個庫對我們后續(xù)要做物體搜索帶來極大的幫助。所有識別都是智能算法本身,識別完了之后我們更多做一件事情將傳統(tǒng)非結(jié)構(gòu)化的視頻我們轉(zhuǎn)成了結(jié)構(gòu)化數(shù)據(jù),變成結(jié)構(gòu)化數(shù)據(jù)以后我們以傳統(tǒng)的甲骨文方式去存,完全沒有辦法支撐我們作用,所以我們有一個分析型數(shù)據(jù)庫支撐我們應(yīng)用。我們分析型數(shù)據(jù)庫其實不僅僅只是提供一個普通查詢或者模糊查詢,更多提供面向行業(yè)的應(yīng)用包括時空碰撞,包括這輛車常駐的點是哪里,常用地址有哪些,它今天有沒有異常,它熱力呈現(xiàn)是如何?它這輛車跟其他車之間是如何,各種各樣碰撞真實的挖掘。 這是真實案例,我們擁有30億過車的車輛數(shù)據(jù)系統(tǒng)我們做一個比較,用我們最小規(guī)模云計算的系統(tǒng)跟甲骨文加一臺小型機比較我們得出答案是這樣的。像碰撞查詢、套牌車分析、首次出現(xiàn)、高危時刻,我們基本上秒級得到一個結(jié)論,甲骨文加上小型機幾百秒都得不出結(jié)論,這是我們云給所有客戶帶來巨大性能提升也帶來真真實實的東西。 我們擁有了存儲能力,識別能力,大數(shù)據(jù)挖掘能力,我們可以做哪些事情?第一件事情非常簡單,我們做以圖搜圖,我們做以圖搜車,我點擊車輛把它完全軌跡全部畫出來,過程熱力呈現(xiàn)畫出來,針對它統(tǒng)計也出來,這個識別非常精確,它可以精確這輛車是一個福特,型號是2014年出產(chǎn)的,顏色是白色,類型是MPV,牌照是某某,這個人進行了臉部遮擋說明他有嫌疑,這是我們以圖搜車的案例。我們有一個公安客戶跟我們談一個夢想,他說他想構(gòu)建一個天羅地網(wǎng),比如說我今天走在路上,突然邊上開過來一輛摩托車把我包搶了,我趕快報警,我給它描述,他可以立馬調(diào)攝象頭分析這個目標,我們找到摩托車的車牌號碼,于是把車牌號碼和其他特征下放到我們布控的云平臺里面,一旦在下一個攝象頭立馬發(fā)出報警,立馬有警察給抓捕到,這在今天立刻可以落地。 停車難是我們碰到的最大問題,我們下班發(fā)現(xiàn)我車被人刮了,你只能找保安能不能看誰刮了我的車,你怎么看?你必須把今天早上八點鐘一直到你下班的視頻看完才可以發(fā)現(xiàn)誰刮了你的車,這是非常耗時的過程,如了視頻云這個平臺我們輕松做一件事情我們選中這輛車在周邊畫一個小框,我找到所有在這個框里面出現(xiàn)的目標是誰就可以了。 還有一種如果我們把所有停車場給互聯(lián)起來我們有拿到所有去所有停車場包括它的車型我們可以做一件事情,我們知道開寶馬的人通常喜歡去哪里購物購物習(xí)慣是什么樣的,開奔馳跟開寶馬有沒有不一樣的。我們公安行業(yè)構(gòu)建一個我們把車輛識別結(jié)果數(shù)據(jù)再去拿到公安原來數(shù)據(jù)進行碰撞建模,我們圍繞以車、人以及人的關(guān)系構(gòu)建了一個模型,每輛車經(jīng)過我們都會對他打分,判斷這個人發(fā)生犯罪的可能性有多高,這個系統(tǒng)我們僅僅浙江省一個縣公安部署六個月,我們抓獲23名犯罪嫌疑人,抓獲11名在逃的犯罪人員,抓獲15個套牌車輛。我們針對所有危險車輛大數(shù)據(jù)的呈現(xiàn)可視化的,當然我們可以把所有車匯聚進來我們做車和車之間關(guān)聯(lián),人跟人之間關(guān)聯(lián),以及人和車之間的關(guān)聯(lián),各種各樣的碰撞。我們針對像某一個交通路口做的熱力呈現(xiàn),從右往左這條路比從右往右的路繁忙,上面變成紅色意味著交通部門可不可以采取潮汐道緩解壓力。我們判斷這個地方是不是增加人行橫道或者天性。我們運用到商業(yè)里面我們判斷某個人熱力是如何,以及我們針對這個商場畫兩個框判斷所有經(jīng)過兩個框的熱力如何,從而決定我兩個商品之間是否存在關(guān)聯(lián)性。所有應(yīng)用我們都是基于視頻數(shù)據(jù)所出來的,這也是我們基于視頻數(shù)據(jù)對一個城市做了熱力呈現(xiàn),它清晰告訴我們國慶節(jié)比平時繁忙得多,這個繁忙點都在哪里可以清晰告訴我們,除了市中心,郊區(qū)各種旅游地方也是異常繁忙。通過視頻數(shù)據(jù)還可以做什么事情?在教育里面我們做一些代答卡,判斷這堂課是不是教育質(zhì)量高,你可以判斷這個人有沒有睡覺,這個人有沒有低頭玩手機,通過這個我們判斷這個老師教學(xué)如何的,這個教師不同時間段教學(xué)如何,可以從而編輯他的授課過程。 我們過去一年時間構(gòu)建全國100多個視頻云的案例,承載我們100個PB的數(shù)據(jù)量,這僅僅是一年新增的數(shù)據(jù)量而已,我們今天也想借中國云計算大會場,我們很希望開放我們視頻云里面像存儲的能力、識別能力以及我們大數(shù)據(jù)能力,幫助我們更多的客戶去實現(xiàn)他的價值。我們也希望更多合作伙伴跟我們一起打造用戶的應(yīng)用,提升視頻的價值。 今天我匯報就到這里,謝謝。 (中國集群通信網(wǎng) | 責(zé)任編輯:陳曉亮) |




