主頁（http://www.130131.com）：《智慧城市的數(shù)據(jù)管理》鄔賀銓院士報告  10月25日中國智慧城市網(wǎng)現(xiàn)場報道，中國工程院原副院長、秘書長鄔賀銓在無錫舉行的第三屆中國國際物聯(lián)網(wǎng)大會上以《智慧城市的數(shù)據(jù)管理》為題做主題演講，其中分析到：數(shù)據(jù)挖掘是物聯(lián)網(wǎng)和智慧城市重點，但之前我們更多的把關注點放在了數(shù)據(jù)感知和應用上，這是需要糾正的。以下是鄔賀銓院士報告全文： 尊敬的各位專家，下午好，我的報告題目是《智慧城市的數(shù)據(jù)管理》。先說一下智慧城市的基礎設施。 什么是智慧城市？最初是無線城市，無線設施是數(shù)字城市設施的關鍵組成，但無線城市僅僅是數(shù)字城市的第一步，數(shù)字城市可能要求比電信網(wǎng)絡有更多的有線寬帶設施。 智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯(lián)和有效。對人力與社會資源和傳統(tǒng)及現(xiàn)代設施的投資，促進可持續(xù)經(jīng)濟發(fā)展和高質(zhì)量生活，同時通過提供參與治理的機會實現(xiàn)對自然資源叢明的管理，這時一個城市就被稱為智慧城市。 智慧城市本身應該是可測量的，可監(jiān)控的，可分析的。另外是能整合的，還是創(chuàng)新的，以及協(xié)作的。 那么智慧城市跟物聯(lián)網(wǎng)以及跟未來網(wǎng)絡有什么關系呢？物聯(lián)網(wǎng)是智慧城市網(wǎng)絡能力的基礎。但智慧城市的網(wǎng)絡能力內(nèi)涵更為豐富，具有對未來網(wǎng)絡所期待的特征�？梢詮膱D上看到，傳感網(wǎng)僅僅是未來網(wǎng)絡的一部分，除了英特爾以外，未來網(wǎng)絡還應該包括，數(shù)據(jù)與內(nèi)容、物品與傳感器、用戶與知識等等。未來感知包括服務感知、數(shù)據(jù)感知、環(huán)境感知和社會與經(jīng)濟感知。 物聯(lián)網(wǎng)底層有很多感知對象和感知的單元，通過網(wǎng)絡把它們匯集，然后通過應用領域?qū)崿F(xiàn)更智慧的決策。智慧城市的信息要有非常強大的基礎設施，包括有線網(wǎng)絡、無線網(wǎng)絡、移動網(wǎng)絡，有時候還需要利用衛(wèi)星等等手段。除了傳統(tǒng)手段以外，靠近用戶端有物聯(lián)網(wǎng)網(wǎng)端，有時候還需要云計算平臺的支撐。 智慧城市的信息基礎設施是下一代互聯(lián)網(wǎng)和未來網(wǎng)絡，我們希望這個網(wǎng)絡更安全，能夠具有移動性的普適計算，能夠跨越物力與Cyber空間，而且還是自治連網(wǎng)。 那么智慧城市跟云計算是什么關系呢？這個圖上可以看到，我們國家很多智慧城市都以建立云計算基地和提供云服務為主要目標。像北京有祥云工程，上海有“云海計劃”，天津有六云產(chǎn)業(yè)和三云應用，重慶希望建立云端智能城市，廣州有天云計劃。 我舉個例子，比如上海的智慧閔行，閔行有很多很多的數(shù)據(jù)庫，然后建立閔行區(qū)私有云和民生云，希望通過數(shù)據(jù)挖掘，智能圖像識別和網(wǎng)絡檢索的技術，來實現(xiàn)智慧政務、智慧醫(yī)療、智慧交通。 早年我們沒有談云計算，八十年代談數(shù)據(jù)庫，九十年代談IDC，現(xiàn)在我們更多是談云計算，實際上更多的是云服務。在云計算上面有Iaas系統(tǒng)，上面有Paa市系統(tǒng)，再上面有SaaS系統(tǒng)。但是我個人認為，僅僅做iaaS僅僅是數(shù)字房地產(chǎn)，房地產(chǎn)隨著時間是增值的，那么Iaas隨著時間會貶值，更多的應該做paas，提供很多的開發(fā)環(huán)境，利用這個環(huán)境開發(fā)企業(yè)需要的軟件。對于更多的中小企業(yè)，即使有Paas自身也不會開發(fā)，因此需要提供Saas，這里面就需要提供非常多的軟件。 通常，云計算一般企業(yè)來講可以利用共有云，對于大企業(yè)來講，往往自己建自己的云，但并不妨礙跟共有云發(fā)生關系。更多企業(yè)既想把一些裝置放在公用平臺上，但又擔心安全，所以經(jīng)常是使用私有云。美國政府IT預算25%要投到云計算平臺上。 下面是我報告的重點，要講一下智慧城市的數(shù)據(jù)管理。這個圖上大家可以看到，互聯(lián)網(wǎng)上的一分鐘可以干一些什么？到2015年，大概1個人要花五年時間，才能看完在互聯(lián)網(wǎng)上一秒鐘所傳的所有視頻。 那么互聯(lián)網(wǎng)上一天可以干什么呢？對Twitter，一天新增2億條微博，7個TB。50億個單詞，幾乎是60年來紐約時報單詞量的兩倍。對于Facebook，一天可以上載2.5億張照片，相當于300個TB。那么在中國淘寶網(wǎng)站一天又交易數(shù)千萬筆，大概數(shù)據(jù)量是20個TB。全世界互聯(lián)網(wǎng)上一天的信息量如果裝在DVD光盤上，要裝1.68億張光盤，大概是80萬個硬盤，約占800EB。 那么互聯(lián)網(wǎng)流量的變化。1998年平均一個網(wǎng)民一個月的流量才一個MB，到2000年，達到10MB，到2008年平均一個網(wǎng)民是1000MB，到2014年是10000MB。 2011年4月美國國會圖書館收集了235TB無數(shù)據(jù)。全球新產(chǎn)生的數(shù)據(jù)年增40%，全球信息總量每兩年就可以翻番。而對新增數(shù)據(jù)的處理能力以及其利用率的增長則不足5%。而且所有數(shù)據(jù)量的90%的數(shù)字內(nèi)容屬于非結(jié)構化內(nèi)容。 最近兩個月在YouTube上載的視頻超過了ABC、NBC和CBS電視臺自子948年以來247/365連續(xù)播出的內(nèi)容。 那么什么是大數(shù)據(jù)呢？大數(shù)據(jù)是指沒有辦法在容許的時間內(nèi)用常規(guī)的軟件工具對它技術抓取、管理和處理的數(shù)據(jù)。也就是說，你在規(guī)定的時間里頭用常規(guī)軟件工具做不到的。大數(shù)據(jù)目前的標準是支單一數(shù)據(jù)集的大小在幾十TB到數(shù)PB之間。 大數(shù)據(jù)本身有四個特征，超量、高速、變異、價值。大數(shù)據(jù)的應用領域很廣泛，有醫(yī)療、交通、財務、物流、安全等等，應該說想得到的領域都可以發(fā)生很多應用。 比如企業(yè)，企業(yè)有管理部門、開發(fā)部門、銷售部門、服務部門、這些部門是有交互的，如果通常的企業(yè)管理可能很難得到最優(yōu)化，如果利用大數(shù)據(jù)管理，可以改善它的管理，性能上可以提高40%-60%。 美國有一個公司InFormatica為幫助美國一家零售公司把交易型的數(shù)據(jù)與社交媒體產(chǎn)生的數(shù)據(jù)能夠關聯(lián)分析，找到“最佳客戶”并分析他們的購買行為。亞馬遜公司從銷售數(shù)據(jù)分析適搭配在一起買的商品。 硅谷有個氣候公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，將各地的降雨、氣溫和土壤狀況及歷年農(nóng)作物產(chǎn)量做成精密圖表，從而預測任一農(nóng)場的明年產(chǎn)量，向農(nóng)戶出售個性化保險，如果出現(xiàn)未能預測的惡劣天氣損壞莊稼，氣候公司將及時賠付。 我曾經(jīng)在山東壽光的菜市場看到，當?shù)赜幸粋�顯示屏，北京黃瓜3塊錢，當?shù)攸S瓜1塊錢。我問農(nóng)民說，你怎么不到北京去賣呢？他說，我要去北京賣，價格8毛錢都賣不出去。我說信息化對你沒有用嗎？他說，不是，信息化只有我知道的，別人不知道的信息對我才有用的，因此所有的市場信息都應該是個性化的。 美國紐約的警察分析交通擁堵跟犯罪發(fā)生地點的關系，能有效改進治安。美國紐約的交通部門從交通違規(guī)和事故的統(tǒng)計數(shù)據(jù)終發(fā)現(xiàn)規(guī)律。 我們的電信運營商也擁有大量的手機數(shù)據(jù)，通過對手機數(shù)據(jù)的挖掘，不針對個人而是著眼于群體行為，可以從中分析出：這個時候有多少人在這個地方。 前一段時間我去廣東，廣東省委領導提出來現(xiàn)在的經(jīng)濟下行了，究竟農(nóng)民工走了多少？往往這個數(shù)據(jù)統(tǒng)計不準確。因為經(jīng)濟好的時候，人們不會多吃鹽，經(jīng)濟不好的時候，也不會少吃鹽，所以鹽的銷量相應反映出人的數(shù)量，那么為了核實這個數(shù)字，我問了一下廣東的通信公司，我說你們能不能從用戶活躍數(shù)量上判斷結(jié)果。結(jié)果從這個上面判斷出這個數(shù)字，也是20%左右。所以通過數(shù)據(jù)可以很好的反映人的來源。 比如說我們可以很好的掌握，現(xiàn)在在天安門廣場有多少人，我可以知道多少人來自河南，多少人來自四川的，多少人來自江蘇的。如果你是來旅游的，一兩個小時就走了，如果上訪的，可能三四個小時，這個時候上訪部門就要注意了。 還有根據(jù)手機在馬路上走的運行速度可以判斷這條馬路是不是堵，實際上這些都是可以挖掘的數(shù)據(jù)。 3000億美元，美國保健的年度潛在價值，相當于戲班言年度醫(yī)療保健開支兩倍。2500億歐元，歐洲公共管理的潛在年度價值，比希臘GDP的兩倍還多。所以世界經(jīng)濟論壇上大數(shù)據(jù)就是新財富，大數(shù)據(jù)的價值堪比石油。 當然了，要挖掘大數(shù)據(jù)不是那么容易的事，首先要進行數(shù)據(jù)管理，數(shù)據(jù)來自不同的地方和不同標準，數(shù)據(jù)量的大小、結(jié)構形式、實時性都不一樣，會增加采集、編索與整合的困難，需要對傳統(tǒng)的數(shù)據(jù)傳輸工具ETL無流程進行重新設計。 數(shù)據(jù)存儲，傳統(tǒng)的集中式數(shù)據(jù)庫、數(shù)據(jù)倉庫系統(tǒng)已經(jīng)不能有效的處理大數(shù)據(jù)的存儲和分析，需要分布式處理，Hadoop就是分布式結(jié)構化數(shù)據(jù)存儲方案。 數(shù)據(jù)挖掘，為了處理具有高維特征的圖像等多媒體數(shù)據(jù)，將高維數(shù)據(jù)看成位于一個相對低維子流形上，利用流形的性質(zhì)將數(shù)據(jù)降維后度量與處理。 總的來說，物聯(lián)網(wǎng)也好，智慧城市也好，數(shù)據(jù)挖掘是重點，今天我看到無錫這個展覽會，我們很多都關注數(shù)據(jù)感知、應用，實際上幾乎沒有看到數(shù)據(jù)挖掘，沒有看到智能決策，實際上這是需要智能決策的。首先在數(shù)據(jù)收集層不僅僅是收集傳感器的數(shù)據(jù)，需要手機政府和市民的數(shù)據(jù)，才知道這個時候這個地方發(fā)生了什么，然后才對得出傳感器的數(shù)據(jù)有一個合理的解釋。 獲得這些數(shù)據(jù)以后，不是簡單從數(shù)據(jù)分析，需要建立一些模型進行仿真，得出的結(jié)果需要有可視化的表現(xiàn)，甚至要增強現(xiàn)實。 另外是不是發(fā)布？是不是在發(fā)布之前進行仿真？我發(fā)布之后有什么樣的后果？這都需要在數(shù)據(jù)挖掘上做的。 比如說藍藻爆發(fā)監(jiān)測模型。通過傳感器捕獲太湖水里的成份，我們根據(jù)經(jīng)驗可以知道，藍藻的發(fā)生強度跟溶解氧有比較高的相關程度，跟水溫有比較高的相關程度，跟電導率有比較高的相關程度，但跟氨氮、PH值、硝酸鹽沒有這么高，這些可以作為參考。但僅僅這些還不夠，還需要圖像，根據(jù)視頻結(jié)果，一起來結(jié)合分析，才有可能得出是不是會有藍藻爆發(fā)的結(jié)果。 而且我剛才說了，不僅僅基于傳感器，還基于人工采集的數(shù)據(jù)，基于衛(wèi)星遙感的數(shù)據(jù)，通過多元的數(shù)據(jù)收集，才能保證確認這個事件的可靠性。收了這些數(shù)據(jù)以后，需要有數(shù)據(jù)湖泊模型，通過跟歷史的比對，進行分析挖掘，得出結(jié)果以后進行網(wǎng)絡發(fā)布，所以這是一個復雜的過程，我們需要合理的制定感知數(shù)據(jù)的存儲期。 我們城市有大量的攝像頭，很多城市提出來存三個月，那幾十個攝像頭存儲這是需要非常大的資源，這就需要壓縮去掉重復用于的數(shù)據(jù)。比如關注某個倉庫有沒有異常事件，那絕大部分是沒有人的，這段可以壓縮掉。而且要堅固歷史數(shù)據(jù)和新數(shù)據(jù)，提供一個使數(shù)據(jù)精度隨時間逐漸降低的數(shù)據(jù)老化方法。另外存進行還要考慮以什么樣的規(guī)律挖出來。 數(shù)據(jù)的隱私和保護也是非常重要的問題，這里有技術性問題，一些數(shù)據(jù)可能需要加密，這要分配密鑰，而加密對于傳感器來講需要采用高能效的加密算法，當然還有可介入性認證，可信性認證、數(shù)據(jù)完整性認證、隱私增強技術和身份管理等等。 法律上規(guī)定有些數(shù)據(jù)必須開放，老百姓也能看見。還有責任性、數(shù)據(jù)擁有權。從經(jīng)濟角度要有行為規(guī)范，為了商業(yè)利益也要有隱私保護。在社會倫理上要保證公眾有知情權、保證消費者有權利，保證消費者的主張。 數(shù)據(jù)訪問認證與安全管理有網(wǎng)絡訪問控制、網(wǎng)絡數(shù)據(jù)保密、網(wǎng)絡數(shù)據(jù)完整性、網(wǎng)絡可用性、網(wǎng)絡不可否認性等等。 另外在大數(shù)據(jù)的挖掘里頭很重要的一點，要解析非結(jié)構的信息。文字信息我們比較好過濾，有一個關鍵詞就可以選擇了。有一個小企業(yè)，它做不到每個員工一人一臺電腦，很多時候是兩三個員工一臺電腦，有一個員工覺得很不方便，就向領導發(fā)了一個短信，他說我申請一臺獨立電腦。計算機一分析“臺獨”，實際上計算機本身沒有這個智能，它需要上下文關聯(lián)，通過工具找出真正的含義。把復雜的、模凌兩可的矛盾的數(shù)據(jù)導出可理解的內(nèi)容，這就需要進行大量的解釋。 另外大數(shù)據(jù)的量非常大，我們不能等它存在計算機數(shù)據(jù)庫里再調(diào)出來分析，我們需要在一邊輸入，一邊分析。過去分析是把數(shù)據(jù)帶進程序，現(xiàn)在我們是把程序帶進數(shù)據(jù)，就是實時進行工作。 剛才說到分析結(jié)果要進行可視化，只有可視化才能更直觀，更能夠被決策者所看得見，也能夠在發(fā)布的時候，讓老百姓所能理解。舉個例子，上海延安路上我們布了很多很多攝像頭，每個攝像頭后面都連著一個電視屏幕，往往在交通監(jiān)控中心，一面墻上放了很多很多電視屏幕，再多也不可能把整個上海交通電視屏放上去，只能每十秒鐘更換一次，可能每一個點要半小時/一小時看到一次。 現(xiàn)在我要把整個錄像合成一個視頻，我就可以看到延安路上交通狀況如何。我還可以合成全上海的視頻情況，在某一個經(jīng)緯度上對應某一條路上，在某一個時段上演，哪個時候車最多？哪個時候行車速度最慢？因此可視化能夠讓我們直觀看到上海市同一個時間交通流量圖。 這是籃球場的半場，NBA統(tǒng)計2011-2012年投籃位置和投籃命中率的關系，這里面點值越大，表示在那個點上發(fā)生投籃概率最大。顏色發(fā)紅的表示投籃的成功率最高，你可以看到在半圓以外投籃率都很高，在籃板下投籃也比較高，其他地方并不是很高，這就是很簡單的可視化的例子。 其實在城市里頭有多種多樣的物聯(lián)網(wǎng)，我們不太可能把電力、交通、工業(yè)、海水的合為一個物聯(lián)網(wǎng)。一個城市有這么多物聯(lián)網(wǎng)組成，關鍵是這些信息能不能共享？所以這是城市數(shù)據(jù)管理一個很重要的內(nèi)容。 往往某個地方發(fā)生火災了，可能打119，如果交通部門不去，那堵車了，救火車開不進去，如果供水部門不去，那個地方開不了水，如果120不去，可能不能急救，所以城市的服務系統(tǒng)應該是互相關聯(lián)的 最后，我們正在進入寬帶時代和移動互聯(lián)網(wǎng)時代，將要面對后摩爾時代、后PC時代，云計算時代和物聯(lián)網(wǎng)時代及大數(shù)據(jù)時代也將向我們走來，網(wǎng)絡技術正走向換代發(fā)展的轉(zhuǎn)折點。 無線城市、數(shù)字城市、寬帶城市、感知城市是智慧城市的必要條件； 智慧城市是城鎮(zhèn)化進程的下一階段，是城市信息化的新高度，是現(xiàn)代城市發(fā)展的愿景。 智慧城市每天產(chǎn)生大量的數(shù)據(jù)，大數(shù)據(jù)的收集、存儲和分析處理及使用對智慧城市是很大的挑戰(zhàn)，這不僅是技術也是法律和政策需要關注的問題。大數(shù)據(jù)的挖掘?qū)χ腔鄢鞘械慕?jīng)濟發(fā)展和社會管理是無形的管理。 謝謝大家！ (中國集群通信網(wǎng) | 責任編輯：陳曉亮) |
