主頁(yè)（http://www.130131.com）：人工智能管理無(wú)線頻譜——開(kāi)創(chuàng)無(wú)線通信新時(shí)代

━━ ━━

21世紀(jì)初，藍(lán)牙差點(diǎn)被不合時(shí)宜地終結(jié)。第一批藍(lán)牙設(shè)備曾竭力避免與無(wú)線路由器產(chǎn)生沖突。（無(wú)線路由器是無(wú)線頻譜上功率更高、更穩(wěn)定的一類設(shè)備，藍(lán)牙設(shè)備與其共享頻率。）最終，藍(lán)牙工程師們修改了標(biāo)準(zhǔn)，為藍(lán)牙設(shè)備開(kāi)發(fā)了跳頻技術(shù)，根據(jù)對(duì)無(wú)線信號(hào)的探測(cè)，將藍(lán)牙操作切換到未被占用的頻段，從而避免了藍(lán)牙技術(shù)早早夭折。

頻率跳頻只是避免干擾的一種方法，這個(gè)問(wèn)題從一開(kāi)始就困擾著無(wú)線電。監(jiān)管機(jī)構(gòu)從很久以前就開(kāi)始管理頻譜，使得新興的無(wú)線生態(tài)系統(tǒng)中不同的無(wú)線電用戶能夠分配到不同的專用頻率。雖然這種做法避免了在使用中檢測(cè)傳輸狀況和變換頻率的問(wèn)題，但由于部分頻譜被閑置，因此頻譜利用率非常低。

如今，對(duì)有限的無(wú)線電頻譜資源的需求正在高漲。在過(guò)去幾年里，無(wú)線數(shù)據(jù)傳輸以每年約50%的速度增長(zhǎng)，主要原因是人們?cè)絹?lái)越多地在智能手機(jī)上觀看視頻和瀏覽社交媒體。為了滿足這一需求，我們必須盡可能有效地分配頻譜，這也就意味著無(wú)線技術(shù)不能有獨(dú)占頻率，必須共享可用頻譜。解決方案中將包括藍(lán)牙所使用的跳頻技術(shù)，但為了應(yīng)對(duì)激增的需求，我們還需要做更多。

━━ ━━

為了解決頻譜稀缺問(wèn)題，我在美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）創(chuàng)辦了頻譜協(xié)作挑戰(zhàn)賽（SC2），并擔(dān)任項(xiàng)目經(jīng)理。SC2是一個(gè)為期3年的公開(kāi)賽，來(lái)自世界各地的團(tuán)隊(duì)將重新思考頻譜管理問(wèn)題。各團(tuán)隊(duì)正在設(shè)計(jì)新的無(wú)線電，使用人工智能來(lái)學(xué)習(xí)如何與競(jìng)爭(zhēng)對(duì)手共享頻譜，最終目標(biāo)則是提高總體數(shù)據(jù)吞吐量。這些隊(duì)伍正在爭(zhēng)奪今年10月在洛杉磯舉行的SC2錦標(biāo)賽中將近400萬(wàn)美元的獎(jiǎng)金。兩年的競(jìng)爭(zhēng)讓我們第一次目睹了自主無(wú)線電集體共享無(wú)線頻譜，傳輸?shù)臄?shù)據(jù)遠(yuǎn)遠(yuǎn)超過(guò)了為每個(gè)無(wú)線電分配專用頻率所能傳輸?shù)臄?shù)據(jù)。

在SC2之前，DARPA的多個(gè)項(xiàng)目已經(jīng)證明，少數(shù)無(wú)線電可以像藍(lán)牙一樣，通過(guò)跳頻技術(shù)來(lái)自主管理頻譜，從而避免彼此干擾。那么，我們?yōu)槭裁床话烟�頻技術(shù)應(yīng)用到更廣泛的無(wú)線電領(lǐng)域，用這種方法來(lái)解決頻譜有限的問(wèn)題呢？

可惜跳頻只能在一定程度上起作用，其有效性取決于未使用頻譜的數(shù)量，如果試圖發(fā)送信號(hào)的無(wú)線電設(shè)備太多，就不會(huì)有太多（如果有的話）未使用的頻譜可用。為了達(dá)到SC2競(jìng)賽的目的，我們意識(shí)到，需要在多個(gè)場(chǎng)景下測(cè)試相互競(jìng)爭(zhēng)的團(tuán)隊(duì)，這些場(chǎng)景中將有幾十臺(tái)無(wú)線電設(shè)備試圖同時(shí)共享一個(gè)頻段。這樣一來(lái)，我們就可以確保每臺(tái)無(wú)線電廣播設(shè)備都不會(huì)有自己的專用頻道，因?yàn)闆](méi)有足夠的頻譜可供使用。

考慮到這一點(diǎn)，我們開(kāi)發(fā)了一系列循環(huán)比賽的場(chǎng)景，在大約1平方公里的區(qū)域內(nèi)，3個(gè)、4個(gè)或5個(gè)獨(dú)立的無(wú)線網(wǎng)絡(luò)一起廣播。無(wú)線網(wǎng)絡(luò)將被允許訪問(wèn)相同的頻率，每個(gè)網(wǎng)絡(luò)會(huì)使用一個(gè)人工智能系統(tǒng)來(lái)解決如何與其他網(wǎng)絡(luò)共享這些頻率的問(wèn)題。我們將根據(jù)完成的任務(wù)（如電話和視頻流）數(shù)量來(lái)確定比賽的成功程度。假如某組的無(wú)線網(wǎng)絡(luò)比另一組完成了更多任務(wù)，那該組將在比賽中獲勝。我們的主要目標(biāo)是讓團(tuán)隊(duì)開(kāi)發(fā)出人工智能管理的無(wú)線電網(wǎng)絡(luò)，使這種網(wǎng)絡(luò)能夠共同完成更多的任務(wù)，而不是每個(gè)無(wú)線電都使用一個(gè)專用頻段。

我們很快發(fā)現(xiàn)，把這些無(wú)線電設(shè)備放在現(xiàn)實(shí)世界中是不切實(shí)際的。我們無(wú)法保證每個(gè)參賽隊(duì)伍的無(wú)線條件始終是一樣的。此外，移動(dòng)一個(gè)個(gè)無(wú)線電設(shè)備來(lái)設(shè)置每個(gè)場(chǎng)景和每場(chǎng)比賽非常復(fù)雜和耗時(shí)。

于是我們建造了世界上最大的射頻仿真試驗(yàn)臺(tái)——Colosseum。Colosseum目前位于馬里蘭州勞雷爾市約翰霍普金斯大學(xué)的應(yīng)用物理實(shí)驗(yàn)室。它包含了21個(gè)服務(wù)器機(jī)架，功率為65千瓦，需要的制冷量與10套大型住宅相當(dāng)。它可以同時(shí)在128臺(tái)無(wú)線電設(shè)備之間模擬超過(guò)6.5萬(wàn)種獨(dú)特的交互場(chǎng)景，比如短信或視頻流。此外還有64個(gè)現(xiàn)場(chǎng)可編程門陣列，可通過(guò)一起執(zhí)行超過(guò)150萬(wàn)億浮點(diǎn)運(yùn)算（teraflops）來(lái)處理模擬演練。

每一場(chǎng)比賽中，我們都會(huì)插上無(wú)線電，這樣他們就可以直接向Colosseum“廣播”射頻信號(hào)。該試驗(yàn)臺(tái)具有足夠的計(jì)算能力，可以根據(jù)給定環(huán)境的詳細(xì)數(shù)學(xué)模型計(jì)算這些信號(hào)的行為。例如，Colosseum內(nèi)部有模擬墻，可以“反射”信號(hào)。還有模擬的暴風(fēng)雨和池塘，其中的信號(hào)會(huì)被部分“吸收”。

模擬演練會(huì)為團(tuán)隊(duì)的人工智能提供所有必備信息，以便其在每個(gè)模擬場(chǎng)景中根據(jù)觀察結(jié)果做出適當(dāng)決策。例如，面對(duì)一個(gè)充斥著無(wú)意義噪聲的手機(jī)干擾器，人工智能可能會(huì)選擇將其頻率更改為不受干擾器影響的頻率。

━━ ━━

為人工智能構(gòu)建一個(gè)協(xié)作管理頻譜的環(huán)境是一回事，而創(chuàng)造這些人工智能則完全是另一回事。要了解在SC2中競(jìng)爭(zhēng)的團(tuán)隊(duì)如何構(gòu)建這些人工智能系統(tǒng)，你需要了解人工智能在過(guò)去幾十年中的發(fā)展情況。

概括來(lái)說(shuō)，研究人員在幾次“浪潮”中推進(jìn)了人工智能的發(fā)展，重新定義了這些系統(tǒng)的學(xué)習(xí)方式。人工智能的第一波浪潮是專家系統(tǒng)。這些人工智能是通過(guò)采訪特定領(lǐng)域的專家，并從中派生出一組規(guī)則來(lái)創(chuàng)建的，自主系統(tǒng)在試圖完成某件事時(shí)，可以根據(jù)這些規(guī)則來(lái)做出決策。這些人工智能擅長(zhǎng)解決問(wèn)題，比如國(guó)際象棋，這些問(wèn)題的規(guī)則可以用一種直截了當(dāng)?shù)姆绞綄?xiě)下來(lái)。事實(shí)上，第一代人工智能最著名的例子之一就是IBM的“深藍(lán)”（Deep Blue），它在1997年首次擊敗了國(guó)際象棋大師加里卡斯帕羅夫。

更新潮的第二代人工智能依靠的則是大量的數(shù)據(jù)而非人類的專業(yè)知識(shí)，從而學(xué)習(xí)有關(guān)給定任務(wù)的規(guī)則。人類很難把所有細(xì)微之處都記下來(lái)，而且例外情況往往多于規(guī)則的那些問(wèn)題，是第二代人工智能尤其擅長(zhǎng)解決的。語(yǔ)音識(shí)別就是一個(gè)例子。這些系統(tǒng)能夠接收復(fù)雜的原始數(shù)據(jù)，比如音頻信號(hào)，然后對(duì)數(shù)據(jù)做出決策，比如說(shuō)了什么詞。在Siri和Alexa等數(shù)字助理所使用的語(yǔ)音識(shí)別系統(tǒng)中，我們就能了解到第二代人工智能。

如今，第一代和第二代人工智能都沒(méi)有用于管理無(wú)線頻譜。這意味著我們可以同時(shí)考慮這兩代人工智能，以及研究人員在教這些人工智能解決問(wèn)題時(shí)所采用的方式，從而找到解決我們問(wèn)題的最佳方案。最終，將頻譜管理視為強(qiáng)化學(xué)習(xí)問(wèn)題是最容易的，即我們?cè)谌斯ぶ悄艹晒�時(shí)獎(jiǎng)勵(lì)它，在它失敗時(shí)懲罰它。例如，人工智能可能會(huì)因?yàn)槌晒�傳輸�?shù)據(jù)而得1分，或者因?yàn)閭鬏斒�敗而丟1分。通過(guò)在訓(xùn)練期間積累分?jǐn)?shù)，人工智能會(huì)記住成功的方式并試圖重復(fù)它們，同時(shí)也會(huì)放棄失敗的戰(zhàn)術(shù)。

在我們的比賽中，其他無(wú)線電廣播設(shè)備的傳輸干擾常常會(huì)造成傳輸中斷，所以我們也必須把無(wú)線管理視為一項(xiàng)協(xié)作挑戰(zhàn)，因?yàn)橥瑫r(shí)會(huì)有多個(gè)無(wú)線電廣播。人工智能管理的無(wú)線電性能優(yōu)于傳統(tǒng)的靜態(tài)分配，其關(guān)鍵是開(kāi)發(fā)人工智能，使自己的分?jǐn)?shù)最大化，同時(shí)為其他人工智能留下空間。當(dāng)團(tuán)隊(duì)在追求可用頻譜的過(guò)程中盡可能多地成功傳輸數(shù)據(jù)且避免了不斷的相互碰撞時(shí)，他們就會(huì)得到獎(jiǎng)勵(lì)，這將預(yù)防他們最大限度地利用頻譜。

這樣的難度似乎并不大，還有另外一重難題使得頻譜協(xié)作比許多類似的問(wèn)題更加難以解決。比如，如果你和從未見(jiàn)過(guò)的人一起打籃球，這樣組成的球隊(duì)一起協(xié)同參賽的能力肯定不如一起訓(xùn)練多年的隊(duì)伍。迄今為止，涉及多個(gè)代理的最成功的挑戰(zhàn)是人w工智能參與接受培訓(xùn)的挑戰(zhàn)。最近的一個(gè)案例是2018年的一個(gè)項(xiàng)目，在該項(xiàng)目中，非營(yíng)利性人工智能研究公司OpenAI證明，在電子游戲Dota 2中，一支由5個(gè)人工智能組成的團(tuán)隊(duì)可以打敗一支人類玩家戰(zhàn)隊(duì)。

━━ ━━

2018年12月9日，我和DARPA的同事終于有機(jī)會(huì)知道一組人工智能能否成功解決如此復(fù)雜的多主體問(wèn)題。我們擠在酒店會(huì)議室里的一組電腦旁，離Colosseum的安裝地點(diǎn)只有一個(gè)街區(qū)。一個(gè)星期以來(lái)，酒店一直是我們的指揮中心，我們分析了300多場(chǎng)比賽以確定得分最高的隊(duì)伍。我們希望在3天內(nèi)頒發(fā)多達(dá)8個(gè)75萬(wàn)美元的獎(jiǎng)項(xiàng)，每組頂尖團(tuán)隊(duì)都有一個(gè)獲獎(jiǎng)。不過(guò)直到那一刻，我們都還不知道要頒發(fā)多少個(gè)獎(jiǎng)項(xiàng)。

在一年前舉行的第一次資格賽中，評(píng)判隊(duì)伍的標(biāo)準(zhǔn)僅僅是它們的相對(duì)排名，而這一次要想獲獎(jiǎng)，頂尖團(tuán)隊(duì)還必須證明他們的無(wú)線電能夠比傳統(tǒng)的專用頻道更好地管理頻譜。

為了比較自主無(wú)線電和專用頻率管理，我們?cè)O(shè)計(jì)了最后一組比賽。首先，我們采用了一個(gè)基線，為每個(gè)團(tuán)隊(duì)分配了專用頻率來(lái)了解他們能夠傳輸多少數(shù)據(jù)，然后我們?nèi)∠�了限制，看看一個(gè)團(tuán)隊(duì)的網(wǎng)絡(luò)是否可以在不妨礙共享頻譜中其他4個(gè)無(wú)線網(wǎng)絡(luò)的情況下傳輸更多數(shù)據(jù)。

我們?cè)诰频攴块g里焦急地等待著最后一組比賽的結(jié)束。如果沒(méi)有人能越過(guò)我們?yōu)樗麄冊(cè)O(shè)立的門檻，兩年的努力就可能付之東流。我們突然發(fā)現(xiàn)，一腔熱情之下的我們沒(méi)有考慮到，如果所有人都失敗了，我們并沒(méi)有后備計(jì)劃。SC2走到這一步的時(shí)候，我們已經(jīng)開(kāi)始看到一些方法的局限性，但這并不能安撫我們的緊張情緒。

幸運(yùn)的是，我們也開(kāi)始發(fā)現(xiàn)一些成功的關(guān)鍵點(diǎn)。比賽開(kāi)始時(shí)，幾乎所有的團(tuán)隊(duì)都采用了第一代人工智能方法。在開(kāi)始的時(shí)候，這種方法是有用的，因?yàn)檫�沒(méi)有用于管理頻譜的人工智能系統(tǒng)。在第一代方法中，團(tuán)隊(duì)正試圖編寫(xiě)協(xié)作使用頻譜的一般規(guī)則。

當(dāng)然，每個(gè)團(tuán)隊(duì)編寫(xiě)的規(guī)則略有不同，不過(guò)他們開(kāi)發(fā)的每個(gè)系統(tǒng)都有一些通用的原則。首先，系統(tǒng)應(yīng)該監(jiān)聽(tīng)每個(gè)網(wǎng)絡(luò)要求使用的頻率。第二，在剩下的頻段中，每個(gè)頻段只能分配一臺(tái)無(wú)線電設(shè)備，而且每個(gè)團(tuán)隊(duì)都不得要求超過(guò)其公平份額。第三，如果沒(méi)有空閑頻段，無(wú)線電應(yīng)該選擇干擾最小的頻段。

可惜這些規(guī)則未能捕捉到無(wú)線管理的所有特性，這導(dǎo)致了意想不到的后果，影響了無(wú)線電協(xié)同工作的能力。在SC2中，我們目睹了許多這樣的例子，這些看似簡(jiǎn)單的規(guī)則失敗了。

例如，第二條規(guī)則——做一個(gè)好鄰居而不是獨(dú)占頻率。原則上，如果其他無(wú)線電需要，這種合作方式應(yīng)該為它們提供更多使用頻譜的機(jī)會(huì)。在實(shí)踐中，我們看到了這種策略的錯(cuò)誤之處，有一次，3個(gè)團(tuán)隊(duì)留下了大量完全未使用的頻譜。

通過(guò)這些結(jié)果，我們發(fā)現(xiàn)有一個(gè)團(tuán)隊(duì)堅(jiān)持使用不超過(guò)1/3的頻譜。雖然這種策略非常無(wú)私，但也限制了他們?yōu)橥瓿勺约旱娜蝿?wù)而建立的連接，從而局限了他們的分?jǐn)?shù)。當(dāng)另一個(gè)系統(tǒng)注意到第一個(gè)系統(tǒng)沒(méi)有得到足夠的分?jǐn)?shù)時(shí)，情況變得更糟了，它因此限制了自己的頻譜使用，允許第一個(gè)系統(tǒng)使用更多的頻譜，而這是第一個(gè)系統(tǒng)永遠(yuǎn)也不會(huì)做的事�；�本上，這些系統(tǒng)過(guò)于恭順，結(jié)果就是頻譜浪費(fèi)。

要用第一代人工智能解決這個(gè)問(wèn)題，團(tuán)隊(duì)必須編寫(xiě)另一條規(guī)則。當(dāng)新規(guī)則導(dǎo)致另一個(gè)意想不到的結(jié)果時(shí)，他們又編寫(xiě)另一條規(guī)則來(lái)應(yīng)對(duì)。諸如此類。這些不斷出現(xiàn)的“驚喜”和隨之而來(lái)的新規(guī)則是第一代人工智能的主要缺點(diǎn)。一個(gè)看似簡(jiǎn)單的問(wèn)題，到頭來(lái)可能比看上去要麻煩得多。

與依賴一些硬性的規(guī)則相比，讓每臺(tái)無(wú)線電廣播設(shè)備根據(jù)共享頻譜的其他無(wú)線電來(lái)調(diào)整策略似乎是更好的方法。實(shí)際上，無(wú)線電廣播設(shè)備應(yīng)該從大量數(shù)據(jù)（Colosseum擅長(zhǎng)生成的數(shù)據(jù)）中挖掘出一系列不斷增長(zhǎng)的規(guī)則。因此，我們?cè)?018年12月9日的實(shí)驗(yàn)中看到有一些團(tuán)隊(duì)轉(zhuǎn)向第二代人工智能方法。幾支團(tuán)隊(duì)已經(jīng)建立了初具雛形的第二代人工智能網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以快速識(shí)別其他網(wǎng)絡(luò)的比賽情況，并利用這些信息動(dòng)態(tài)地改變各自無(wú)線電的規(guī)則。

當(dāng)SC2開(kāi)始時(shí)，我們猜想許多團(tuán)隊(duì)會(huì)采用一種簡(jiǎn)單的方法，即使用“感知并避免”策略。當(dāng)藍(lán)牙設(shè)備發(fā)現(xiàn)它想要的頻譜被無(wú)線路由器使用了，它就會(huì)跳到一個(gè)新的頻率。藍(lán)牙的跳頻功能之所以能夠發(fā)揮作用，部分原因在于無(wú)線網(wǎng)是以一種可預(yù)測(cè)的方式工作（也就是說(shuō)，它以特定的頻率廣播，并且不會(huì)改變這種行為）。在我們的比賽中，每支隊(duì)伍的無(wú)線電的行為都非常不同，而且完全無(wú)法預(yù)測(cè)，這使得“感知并避免”的策略毫無(wú)意義。

相反，我們看到了一個(gè)更好的方法，也就是預(yù)測(cè)未來(lái)的頻譜。預(yù)測(cè)之后，一臺(tái)無(wú)線電廣播設(shè)備就可以利用這些預(yù)測(cè)結(jié)果來(lái)決定哪些頻率可能會(huì)打開(kāi)，即使時(shí)間很短暫，也足以傳輸少量的數(shù)據(jù)。更精確的預(yù)測(cè)將使相互合作的無(wú)線電能夠利用每一個(gè)機(jī)會(huì)去傳輸更多數(shù)據(jù)，而不會(huì)因?yàn)樵谕�一時(shí)間獲取相同的頻率而受到干擾�，F(xiàn)在我們希望，第二代人工智能能夠?qū)W習(xí)以足夠高的精度預(yù)測(cè)頻譜環(huán)境，而不浪費(fèi)頻譜。

━━ ━━

當(dāng)然，如果人工智能管理的系統(tǒng)不能超越傳統(tǒng)的分配方案，那么所有這些理論都是無(wú)用的。因此，當(dāng)晚在酒店房間里，Colosseum的比賽結(jié)果公布后，得知前8名的隊(duì)伍中有6支取得成功，我們非常高興！這些團(tuán)隊(duì)證明，當(dāng)他們合作共享頻譜時(shí)，他們的無(wú)線電可以比使用專用頻率時(shí)共同傳輸更多的數(shù)據(jù)。3周后，另外4個(gè)團(tuán)隊(duì)也做到了，獲得成功的團(tuán)隊(duì)總數(shù)達(dá)到10個(gè)。

我們欣喜若狂。不過(guò)，盡管結(jié)果令人鼓舞，但現(xiàn)在說(shuō)什么時(shí)候能積極使用人工智能來(lái)管理無(wú)線電頻譜還為時(shí)過(guò)早。有關(guān)DARPA重大挑戰(zhàn)賽很重要的一點(diǎn)是，它們與競(jìng)賽結(jié)束時(shí)的技術(shù)狀況無(wú)關(guān)。相反，這些挑戰(zhàn)旨在確定是否可能發(fā)生根本性轉(zhuǎn)變�？纯碊ARPA在2004年舉辦的“自動(dòng)駕駛大挑戰(zhàn)賽”吧！又過(guò)了10年，自動(dòng)駕駛技術(shù)才開(kāi)始以非常有限的方式應(yīng)用在商用汽車中。

總而言之，我們最初的比賽結(jié)果很鼓舞人心。到目前為止，我們已經(jīng)發(fā)現(xiàn)，當(dāng)3個(gè)無(wú)線電網(wǎng)絡(luò)共享頻譜時(shí)，其預(yù)測(cè)比4到5個(gè)團(tuán)隊(duì)試圖共享相同的頻譜時(shí)要好得多。不過(guò)，這不是終點(diǎn)，我們的團(tuán)隊(duì)正在構(gòu)建更好的系統(tǒng)。也許，2019年10月23日，在洛杉磯世界移動(dòng)通信大會(huì)美洲區(qū)的SC2錦標(biāo)賽上，這些系統(tǒng)將比以往任何時(shí)候都能更成功地證明，人工智能操作的無(wú)線電可以合作開(kāi)創(chuàng)一個(gè)無(wú)線通信的新時(shí)代。

作者：Paul Tilghman