你在叢林的邊緣出生，來到這個世界要學(xué)的第一件事，叫做“生存”，需要學(xué)會采集生活物資，知道獵殺或者躲避敵人。初始，你的水、食物數(shù)值為100，血量也是100；當(dāng)水和食物二缺一時，就會在每個時間單位掉10滴血，血量變?yōu)?時，你將失去生命特征死亡。

(資料圖)

在危機(jī)四伏的叢林中行走，除了掉血而亡，還有好幾種死法，比如遭敵人獵殺成為“盤中餐”、不小心踩到致命巖漿等。此時，系統(tǒng)告訴你，當(dāng)下是獵殺敵人的最佳時機(jī)，能快速積累助你“叢林逃生”的分?jǐn)?shù)，但你可能錯過擊殺NPC獲取升級裝備的機(jī)會，你是要分?jǐn)?shù)還是要裝備呢？當(dāng)背包裝滿時，你是選擇賣掉部分攻擊裝備，騰出空間儲存應(yīng)急藥物和生存物資，還是無論如何堅(jiān)決不把武器裝備拱手于敵人？

這些問題并非假設(shè)，而是AI在一場賽事中真實(shí)面臨的選擇。而將AI置于這種兩難境地的，是超參數(shù)科技的研究員們。今年4月，他們依托Neural MMO（簡稱NMMO）學(xué)術(shù)環(huán)境，發(fā)起系列「NMMO海量AI團(tuán)隊(duì)生存挑戰(zhàn)賽」，探索海量AI的智能決策能力。截至今日，AIcrowd平臺數(shù)據(jù)顯示，有1000多位選手參與其中，他們來自不同的國家，大多是行業(yè)從業(yè)者和高校學(xué)生。

一個海量AI智能決策“比武場”

在地球生命的早期，生物有機(jī)體非常簡單。它們是微小的單細(xì)胞生物，幾乎沒有協(xié)調(diào)能力。然而，數(shù)十億年的進(jìn)化通過競爭、合作和自然選擇，形成了復(fù)雜的生命形式，以及復(fù)雜的人類智能。

NMMO正是受此啟發(fā)，模擬地球生命之間的競爭與合作，通過設(shè)計(jì)游戲規(guī)則、海量AI競爭與合作，以及標(biāo)準(zhǔn)的大規(guī)模強(qiáng)化學(xué)習(xí)算法，刺激AI在沒有監(jiān)督的情況下學(xué)習(xí)復(fù)雜的策略和技能，看是否能演進(jìn)出更復(fù)雜的智能。它由麻省理工學(xué)院博士生Joseph Suarez開發(fā)，結(jié)合了大型多人在線角色扮演游戲（MMORPG）玩法，是一個面向強(qiáng)化學(xué)習(xí)、支持海量AI研究的學(xué)術(shù)環(huán)境。

對大多數(shù)游戲玩家來說，MMORPG并不陌生，風(fēng)靡全球的《魔獸世界》就是最經(jīng)典的MMORPG游戲。這類游戲的特點(diǎn)在于強(qiáng)社交屬性，以及豐富的交互和持續(xù)更迭的游戲內(nèi)容。NMMO很像游戲，不同的是玩家為AI，而非人類。

AI會作為玩家降生在游戲地圖的邊緣。整個地圖是一個抽象的生態(tài)系統(tǒng)，設(shè)置了可供飲用的水、可獲取食物的森林、碰到即致命的巖漿、可轉(zhuǎn)化為存儲食物資源的魚和能生產(chǎn)高級魔法彈藥的水晶石等16種自然資源或元素。每個AI擁有局部的“視野”，需要水和食物來生存，當(dāng)身體中儲存的水和食物低于一定量的時候，AI的生命值就開始下降。

NMMO中存在近戰(zhàn)、遠(yuǎn)程、魔法三種攻擊方式，三者互相克制，是一種石頭剪刀布式的博弈。此外，AI之間除了互相攻擊，還可以攻擊NPC，由此獲得金錢和盔甲、武器等裝備。

AI們需要完成探索、覓食、戰(zhàn)斗和升級裝備等多重任務(wù)，并根據(jù)這些技能的等級計(jì)算分?jǐn)?shù)。這是一場AI小隊(duì)間的競爭，一支隊(duì)伍的得分將由某一項(xiàng)最高的個體得分所決定。因此，AI小隊(duì)需要實(shí)現(xiàn)高效分工合作，不同的AI承擔(dān)不同的角色任務(wù)，以最優(yōu)團(tuán)隊(duì)策略去獲取游戲的最終勝利。

在這個過程中，AI與NPC、隊(duì)友、敵方之間需要進(jìn)行豐富的交互和博弈，非?？简?yàn)AI自身的智能決策能力。AI要想在資源有限而競爭者眾的環(huán)境中更好地生活，就要學(xué)會讓步和協(xié)調(diào)雙方利益，比如給隊(duì)友送人頭，甚至和敵方合作獲取更好的裝備。

一場硅基生命體的“社會實(shí)驗(yàn)”

在超參數(shù)科技的研究員陳嘉欣看來，NMMO的優(yōu)勢在于它是一個支持海量AI共存、交互，并涌現(xiàn)策略的生態(tài)系統(tǒng)。她所在的團(tuán)隊(duì)目前正圍繞“AI社會”概念展開一系列的研究項(xiàng)目，其核心在于探索海量AI相互影響下所形成的自運(yùn)轉(zhuǎn)社會系統(tǒng)，而在強(qiáng)化學(xué)習(xí)領(lǐng)域頗具影響力的NMMO符合這類研究對環(huán)境的基本需求。

因此，超參數(shù)科技聯(lián)合麻省理工學(xué)院、清華大學(xué)深圳國際研究生院，以及數(shù)據(jù)科學(xué)挑戰(zhàn)平臺AIcrowd，共同主辦「NMMO海量AI團(tuán)隊(duì)生存挑戰(zhàn)賽」的系列競賽，并向全球AI研究者、愛好者發(fā)出邀請。

陳嘉欣介紹，不同于打麻將、斗地主這類任務(wù)定義簡單而明確的游戲，NMMO是一個復(fù)雜的開放世界，有基本的采集、生存邏輯，也有戰(zhàn)斗、裝備系統(tǒng)，“AI需要做符合底層規(guī)則和邏輯的行為”。但這只是進(jìn)行研究的基礎(chǔ)條件，若想深入探索“AI社會”概念，促使海量AI涌現(xiàn)出更豐富、復(fù)雜的策略，研究員們需要對NMMO進(jìn)行改良，重新設(shè)計(jì)交互、博弈機(jī)制。

在8月的新賽事中，研究員們引入了職業(yè)分工、毒圈機(jī)制、交易系統(tǒng)等新元素，通過加長決策鏈條進(jìn)一步仿真現(xiàn)實(shí)世界的決策環(huán)境，將AI的決策難度再抬上一個等級。

新增的職業(yè)分工相當(dāng)于是AI在這個虛擬世界中所承擔(dān)的“社會角色”。相較一開始就設(shè)定好固定角色的普通游戲，NMMO賽事里的AI可以在八種不同的職業(yè)中進(jìn)行自主選擇。研究員們很喜歡這種有灰度的設(shè)置，期待看到AI在博弈中演化出屬于自己的角色。事實(shí)正是如此，賽事平臺視頻回放顯示，AI小隊(duì)在自主探索的過程中，逐漸出現(xiàn)了隊(duì)內(nèi)的職業(yè)分工，這種行為也在一定程度上提升了小隊(duì)的整體效率。

而與職業(yè)分工息息相關(guān)的另外兩種設(shè)定——裝備系統(tǒng)和交易系統(tǒng)，則使AI小隊(duì)之間涌現(xiàn)出更加豐富、復(fù)雜的交互行為，AI們不再局限于互相攻擊、搶奪資源，可以自由買賣裝備、食物等物品，并根據(jù)不同的情況給物品定價。因此，有參賽者選擇避開沖突性高的進(jìn)攻型策略，轉(zhuǎn)向致力于“搞錢”的迂回路線。研究者們觀察到，有AI小隊(duì)演化出了“低買高賣”的經(jīng)濟(jì)學(xué)行為，在眾多的競爭隊(duì)伍中贏得自己的相對優(yōu)勢，最終也取得不錯的比賽成績。

無論是整個團(tuán)隊(duì)做好高效分工去正面對戰(zhàn)，還是另辟蹊徑去集體遨游商海，都讓NMMO呈現(xiàn)出更接近人類社會的面貌。如果說最初的NMMO更像純粹的自然界，只為活命的AI更像野生動物；那經(jīng)過更新迭代的NMMO儼然已邁入人類社會，AI們也開始了商業(yè)文明之旅。

一群探索技術(shù)邊界的“先行者”

在上千個參賽者提交的比賽策略中，其實(shí)沒有關(guān)于AI智能決策問題的直接答案，但研究員們認(rèn)為NMMO是“現(xiàn)實(shí)世界在虛擬環(huán)境的映射”，研究AI在環(huán)境中的每一個行動、決策都能帶來新的啟發(fā)和思考，最終會向著解決現(xiàn)實(shí)世界中具有挑戰(zhàn)性的實(shí)際問題轉(zhuǎn)化，真正幫助相應(yīng)領(lǐng)域的發(fā)展。

超參數(shù)科技高級研發(fā)總監(jiān)朱曉龍觀察到，在數(shù)字化、智能化轉(zhuǎn)型的時代大背景下，其實(shí)存在非常多智能決策應(yīng)用場景，比如智能運(yùn)輸調(diào)度、經(jīng)濟(jì)政策制定等，而NMMO系列挑戰(zhàn)賽或能起到助推器的作用。比如，Salesforce Research和哈佛大學(xué)的研究，就是通過在類似的仿真環(huán)境中觀察AI對稅收政策的反應(yīng)，幫助使用者推演出最優(yōu)解決思路，最后實(shí)踐證實(shí)了AI對于政策設(shè)計(jì)和提高社會福利具有促進(jìn)意義。

隨著AI研究者和行業(yè)實(shí)踐者更多地進(jìn)行聯(lián)合探索，AI近幾年已經(jīng)逐步成為“顯學(xué)”，從僅能被感知到影子的“推薦算法”變?yōu)楫a(chǎn)品的核心組成部分，近期風(fēng)頭無兩的“AI繪畫”正是典型代表。這一切從Google兩個研究員開始，2012年他們在實(shí)驗(yàn)室訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，指導(dǎo)計(jì)算機(jī)去畫貓臉圖片。歷經(jīng)十年技術(shù)更迭、沉淀，AI繪畫終于迎來爆發(fā)，出現(xiàn)如DALL·E2、Midjourney、Stable Diffusion等令人驚嘆的成果，并在短短幾個月內(nèi)實(shí)現(xiàn)飛速更新和廣泛應(yīng)用。

放在十年前，人們很難想象的是，有一天，AI會跑到文學(xué)藝術(shù)的領(lǐng)地上來。正如當(dāng)下，研究者們也很難預(yù)料NMMO賽事所做的技術(shù)探索未來會迸發(fā)出怎樣的革新力量，最終能創(chuàng)造出怎樣的全新物種。唯一可以確定的是，AI作為數(shù)字智能時代最受關(guān)注的前沿技術(shù)之一，將深度融入人類的未來生活。

關(guān)鍵詞： 職業(yè)分工 強(qiáng)化學(xué)習(xí) 交易系統(tǒng)