本文摘編自《危崖 : 生存性風(fēng)險(xiǎn)與人類的未來(lái)》，作者：托比·奧德（Toby Ord）著，36氪經(jīng)授權(quán)發(fā)布。

1956 年夏天，一小群數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家聚集在達(dá)特茅斯學(xué)院，開始了設(shè)計(jì)智能機(jī)器的宏偉計(jì)劃。他們探索了認(rèn)知能力的許多方面，包括推理、創(chuàng)造力、語(yǔ)言、決策和學(xué)習(xí)。他們的問(wèn)題和立場(chǎng)將決定人工能（AI）這一新興領(lǐng)域的發(fā)展方向。而在他們看來(lái)，最終的目標(biāo)是制造出在智力上可與人類媲美的機(jī)器。

幾十年過(guò)去了，隨著人工智能成為一個(gè)穩(wěn)定發(fā)展的領(lǐng)域，人們降低了對(duì)它的期望。人工智能在邏輯、推理和游戲方面取得了巨大的成功，但在其他一些領(lǐng)域卻頑固地拒絕進(jìn)步。到了20 世紀(jì) 80 年代，研究人員開始理解這種成功和失敗的模式。出乎意料的是，我們視為人類智力巔峰的任務(wù)（如微積分或國(guó)際象棋），計(jì)算機(jī)執(zhí)行起來(lái)其實(shí)比那些我們認(rèn)為幾乎不費(fèi)吹灰之力即可完成的任務(wù)（如認(rèn)出一只貓、理解簡(jiǎn)單的句子或撿雞蛋）要容易得多。所以，雖然有些領(lǐng)域里人工智能遠(yuǎn)遠(yuǎn)超過(guò)了人類的能力，但也有一些領(lǐng)域不如兩歲孩童。72 這種未能取得全面進(jìn)展的情況導(dǎo)致許多人工智能研究者放棄了實(shí)現(xiàn)完全通用智能的早期目標(biāo)，并重新定義他們的領(lǐng)域，為解決具體的問(wèn)題研發(fā)專門的技術(shù)。他們放棄了一個(gè)不成熟領(lǐng)域里新生熱情所追求的更宏大目標(biāo)。

但情況正在逆轉(zhuǎn)。從人工智能誕生之初，研究人員就試圖構(gòu)建不需要清晰編程就能學(xué)習(xí)新事物的系統(tǒng)。最早的機(jī)器學(xué)習(xí)手段之一是構(gòu)建類似于人類大腦結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)。在過(guò)去的十年里，這種手段終于有了起色。設(shè)計(jì)和訓(xùn)練上的技術(shù)改進(jìn)，加上更豐富的數(shù)據(jù)集和更強(qiáng)大的計(jì)算能力，使我們能夠訓(xùn)練出比以往更大以及學(xué)習(xí)能力更深入的網(wǎng)絡(luò)。

這種深度學(xué)習(xí)使網(wǎng)絡(luò)有能力學(xué)習(xí)微妙的概念和區(qū)別。它們現(xiàn)在不僅能識(shí)別一只貓，而且在區(qū)分不同品種的貓方面，表現(xiàn)也超過(guò)了人類。它們比我們更能識(shí)別人臉，還能分辨同卵雙胞胎。而且我們已經(jīng)可以將這些能力用于感知和分類以外的領(lǐng)域。深度學(xué)習(xí)系統(tǒng)可以在不同語(yǔ)言之間進(jìn)行翻譯，其熟練程度接近人工翻譯。它們可以生成人類和動(dòng)物的逼真圖像。它們只要聽一個(gè)人講幾分鐘話，就可以用這個(gè)人的聲音說(shuō)話。而且它們可以學(xué)會(huì)精細(xì)而連續(xù)的操控方式，如學(xué)會(huì)駕駛汽車或使用機(jī)械臂拼樂(lè)高零件。

但也許最能預(yù)示未來(lái)的重要標(biāo)志是它們學(xué)會(huì)玩游戲的能力。自達(dá)特茅斯會(huì)議以來(lái)，游戲一直是人工智能的核心部分。持續(xù)而穩(wěn)定的進(jìn)步使人工智能的國(guó)際象棋水平從1957 年參與業(yè)余比賽一直發(fā)展到 1997 年超越了人類，而且是大幅領(lǐng)先。77 要達(dá)到這個(gè)水平，需要大量的國(guó)際象棋策略方面的專家知識(shí)。

2017 年，深度學(xué)習(xí)被應(yīng)用于國(guó)際象棋，并取得了令人矚目的成果。人工智能公司DeepMind 的一個(gè)研究團(tuán)隊(duì)創(chuàng)造了 AlphaZero：一個(gè)基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，從頭開始學(xué)習(xí)下棋。它從新手到象棋大師只用了四個(gè)小時(shí)。在不到一個(gè)職業(yè)棋手下兩盤棋的時(shí)間里，它發(fā)現(xiàn)了人類花費(fèi)幾個(gè)世紀(jì)才發(fā)掘出來(lái)的策略知識(shí)，發(fā)揮出了超越頂尖棋手和傳統(tǒng)程序的水平。而令棋手們欣喜的是，它贏得比賽的方式不是計(jì)算機(jī)象棋所代表的枯燥刻板風(fēng)格，而是讓人想起國(guó)際象棋浪漫時(shí)代的創(chuàng)造性和大膽技法。

但最重要的是，AlphaZero 能做的不僅僅是下國(guó)際象棋。它用同樣的算法從零開始也學(xué)會(huì)了下圍棋，并在八小時(shí)內(nèi)遠(yuǎn)遠(yuǎn)超過(guò)了任何人類的能力。世界上最優(yōu)秀的圍棋選手一直認(rèn)為自己的棋藝已經(jīng)接近完美，所以很震驚地發(fā)現(xiàn)自己被如此徹底地?fù)魯?。正如衛(wèi)冕世界冠軍柯潔所說(shuō)：“人類數(shù)千年的實(shí)戰(zhàn)演練進(jìn)化，計(jì)算機(jī)卻告訴我們?nèi)祟惾际清e(cuò)的。我覺(jué)得，甚至沒(méi)有一個(gè)人沾到圍棋真理的邊?！?/p>

正是這種通用性成了前沿人工智能最令人印象深刻的特點(diǎn)，它重新點(diǎn)燃了讓人工智能趕上和超越人類智能各個(gè)方面的雄心壯志。這個(gè)目標(biāo)有時(shí)被稱為通用人工智能（AGI），以區(qū)別于曾經(jīng)占據(jù)主導(dǎo)地位的狹隘技術(shù)。雖然國(guó)際象棋和圍棋這些歷史彌新的游戲最能展現(xiàn)深度學(xué)習(xí)所能達(dá)到的輝煌成就，但它的廣度是通過(guò)20 世紀(jì) 70 年代的雅達(dá)利電子游戲來(lái)揭示的。2015 年，研究人員設(shè)計(jì)了一種算法，可以學(xué)習(xí)玩幾十種差異極大的雅達(dá)利游戲，其水平遠(yuǎn)遠(yuǎn)超過(guò)人類的能力。與從棋盤的符號(hào)意義開始學(xué)習(xí)國(guó)際象棋或圍棋的系統(tǒng)不同，雅達(dá)利游戲系統(tǒng)直接從分?jǐn)?shù)和屏幕上的原始像素學(xué)習(xí)和掌握這些游戲。它們證明了通用人工智能體的概念是可以實(shí)現(xiàn)的：通過(guò)原始的視覺(jué)輸入來(lái)學(xué)習(xí)控制世界，在不同的環(huán)境中實(shí)現(xiàn)其目標(biāo)。

這種通過(guò)深度學(xué)習(xí)取得的迅猛進(jìn)展，讓人們對(duì)可能很快實(shí)現(xiàn)的目標(biāo)極為樂(lè)觀。企業(yè)家們爭(zhēng)先恐后地將每一項(xiàng)新的突破付諸實(shí)踐：從同聲傳譯、私人助理和無(wú)人駕駛汽車，到改進(jìn)監(jiān)控設(shè)備和致命性自主武器等更令人關(guān)注的領(lǐng)域。這是一個(gè)滿懷希望的時(shí)代，同時(shí)也是一個(gè)充滿道德挑戰(zhàn)的時(shí)代。人們對(duì)人工智能固化社會(huì)歧視、導(dǎo)致大規(guī)模失業(yè)、支持壓迫性的監(jiān)控以及違反戰(zhàn)爭(zhēng)準(zhǔn)則等問(wèn)題表示嚴(yán)重關(guān)切。事實(shí)上，這些受到關(guān)注的每一個(gè)領(lǐng)域都可以自成一章或者為此寫一本書。但本書關(guān)注的是人類面臨的生存性風(fēng)險(xiǎn)。人工智能的發(fā)展會(huì)不會(huì)在這個(gè)最廣泛的范圍內(nèi)構(gòu)成風(fēng)險(xiǎn)？

最有可能的生存性風(fēng)險(xiǎn)將來(lái)自人工智能研究人員的宏偉抱負(fù)—成功創(chuàng)造出超越人類自身的通用智能體。但這種情況發(fā)生的可能性有多大，以及什么時(shí)候會(huì)發(fā)生呢？2016 年，有人對(duì) 300 多名機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)研究人員進(jìn)行了詳細(xì)調(diào)查。當(dāng)被問(wèn)及人工智能系統(tǒng)何時(shí)能“比人工更好、成本更低地完成每一項(xiàng)任務(wù)”時(shí)，他們的平均估計(jì)是到2061 年有 50% 的可能，而到不久后的 2025 年出現(xiàn)這種情況的可能性為10%。

圖5.1：人工智能發(fā)展和熱門程度的量表。人臉顯示了最近在生成“虛擬”人物真實(shí)形象方面所取得的迅猛進(jìn)展。圖表則顯示了國(guó)際象棋AI 在超越人類象棋大師的過(guò)程中取得的長(zhǎng)期進(jìn)步（以ELO 等級(jí)分衡量），以及最近該領(lǐng)域?qū)W術(shù)活動(dòng)的增加（以 arXiv 上發(fā)布的論文數(shù)和會(huì)議的出席率衡量）

這份調(diào)查結(jié)果應(yīng)該謹(jǐn)慎地解讀。它評(píng)估的并不是通用人工智能何時(shí)會(huì)被創(chuàng)造出來(lái)，甚至不是專家們認(rèn)為有可能發(fā)生什么事情，而且得的預(yù)測(cè)眾說(shuō)紛紜。然而，這次調(diào)查向我們表明，專家群體基本上認(rèn)為通用人工智能并不是難以實(shí)現(xiàn)的夢(mèng)想，而是有可能在十年內(nèi)出現(xiàn)的，在一個(gè)世紀(jì)之內(nèi)出現(xiàn)的可能性更大。因此，讓我們以此為出發(fā)點(diǎn)評(píng)估風(fēng)險(xiǎn)，并思考如果通用人工智能被創(chuàng)造出來(lái)會(huì)發(fā)生什么。

人類目前還掌握著自己的命運(yùn)，我們可以選擇我們的未來(lái)。

當(dāng)然，每個(gè)人對(duì)理想未來(lái)有著不同的看法，我們中的許多人更注重個(gè)人訴求，而不是實(shí)現(xiàn)任何這樣的理想。但如果有足夠多的人愿意，我們可以選擇任何一種豐富多彩的未來(lái)。而對(duì)于黑猩猩、山鳥或者地球上的任何其他物種來(lái)說(shuō)，情況就不一樣了。正如我們?cè)诘谝徽轮锌吹降哪菢?，人類在世界上的?dú)特地位是我們獨(dú)一無(wú)二的心智能力所產(chǎn)生的直接結(jié)果。無(wú)與倫比的智慧帶來(lái)了無(wú)與倫比的力量，從而讓我們得以掌控自己的命運(yùn)。

如果研究人員在本世紀(jì)某個(gè)時(shí)候創(chuàng)造了一種幾乎在每一個(gè)領(lǐng)域都超越人類能力的人工智能，會(huì)發(fā)生什么事情？這種創(chuàng)造的行為會(huì)使我們把自己的地位拱手相讓，使我們不再是地球上心智能力最強(qiáng)的實(shí)體。如果沒(méi)有一個(gè)非常好的計(jì)劃來(lái)保持情況受控，我們還會(huì)把最強(qiáng)大物種的地位以及可以掌控自我命運(yùn)的物種這一地位讓出來(lái)。

就這種情況本身而言，也許并不值得過(guò)于擔(dān)心。因?yàn)橛泻芏喾椒茏屛覀冇邢Ｍ３挚刂茩?quán)。我們可能會(huì)試著制造總是服從人類命令的系統(tǒng)，或者系統(tǒng)可以自由地做它們想做的事情，但它們的目標(biāo)與我們的目標(biāo)完全一致—這樣，在構(gòu)筑它們的理想未來(lái)時(shí)，它們也會(huì)構(gòu)筑我們的未來(lái)。不幸的是，為數(shù)不多的正在研究這類計(jì)劃的研究人員發(fā)現(xiàn)，這些計(jì)劃比預(yù)期的要困難得多。事實(shí)上，提出擔(dān)憂的主要就是這些研究人員。

為了了解他們?yōu)槭裁磽?dān)憂，我們需要探討得再深入一些，審視我們目前的人工智能技術(shù)，以及為什么這些技術(shù)很難規(guī)范或控制。有一項(xiàng)或可讓我們最終創(chuàng)建通用人工智能的領(lǐng)先范式把深度學(xué)習(xí)與早期稱為強(qiáng)化學(xué)習(xí)的理念結(jié)合了起來(lái)。人工智能體會(huì)因在各種情況下表現(xiàn)出的行為而獲得獎(jiǎng)勵(lì)（或懲罰）。例如，一個(gè)玩雅達(dá)利游戲的人工智能每次在游戲中獲得分?jǐn)?shù)時(shí)，就會(huì)得到獎(jiǎng)勵(lì)，而一個(gè)搭建樂(lè)高的人工智能體可能在拼好零件時(shí)得到獎(jiǎng)勵(lì)。有了足夠的智慧和經(jīng)驗(yàn)，人工智能體就會(huì)變得非常善于將環(huán)境引導(dǎo)到獲得高額獎(jiǎng)勵(lì)的狀態(tài)。

明確哪些行為和狀態(tài)會(huì)讓人工智能體得到獎(jiǎng)勵(lì)的規(guī)定被稱為人工智能體的獎(jiǎng)勵(lì)函數(shù)。這可以由設(shè)計(jì)者規(guī)定（如上述情況）或由人工智能體習(xí)得。在后一種情況下通常允許人工智能體觀察專業(yè)人士對(duì)任務(wù)的演示，推斷出最能解釋專業(yè)人士行為的獎(jiǎng)勵(lì)系統(tǒng)。例如，人工智能體可以通過(guò)觀察專業(yè)人士操控?zé)o人機(jī)來(lái)學(xué)習(xí)，然后構(gòu)建一個(gè)獎(jiǎng)勵(lì)函數(shù)，懲罰飛得離障礙物太近的行為，以及獎(jiǎng)勵(lì)到達(dá)目的地的行為。不幸的是，這兩種方法都不能輕易地上升到在人工智能體的獎(jiǎng)勵(lì)函數(shù)中寫入人類價(jià)值觀。我們的價(jià)值觀太復(fù)雜、太微妙了，無(wú)法靠手指輸入來(lái)指定。而且我們還不能通過(guò)觀察人類的行為推斷出人類復(fù)雜的價(jià)值觀的全部。即使我們能夠做到，人類也是由許多個(gè)體組成的，他們有不同的、不斷變化的以及不確定的價(jià)值觀。每一種復(fù)雜情況都會(huì)帶來(lái)深刻的未解難題，即如何將觀察到的東西結(jié)合成人類價(jià)值觀的某種總體

表征。

因此，短期內(nèi)任何使人工智能體與人類價(jià)值觀相一致的嘗試都只會(huì)產(chǎn)生一個(gè)有缺陷的版本。其獎(jiǎng)勵(lì)函數(shù)中將缺失我們所關(guān)心的重要部分。在某些情況下，這種錯(cuò)位大多是無(wú)害的。但人工智能系統(tǒng)越是智能，越能改變世界，情況就越難辦。哲學(xué)和小說(shuō)經(jīng)常要求我們思考，當(dāng)我們?yōu)榱四承╆P(guān)心的事情而去優(yōu)化社會(huì)，卻忽視或誤解了一個(gè)關(guān)鍵的價(jià)值，會(huì)發(fā)生什么。當(dāng)我們對(duì)結(jié)果進(jìn)行反思時(shí)，就會(huì)發(fā)現(xiàn)這種失序的烏托邦嘗試可能大錯(cuò)特錯(cuò)了：我們會(huì)像《美麗新世界》里那樣淺薄，或者像杰克·威廉森的《無(wú)所事事》里那樣失去控制權(quán)。如果我們不能對(duì)齊人工智能體，它們就會(huì)努力創(chuàng)造這樣的世界并讓我們受困其中。

甚至這也屬于最好的情況。它假設(shè)系統(tǒng)的構(gòu)建者正在努力使人工智能體與人類的價(jià)值觀相一致。但我們應(yīng)該認(rèn)為，一些開發(fā)者會(huì)更專注于通過(guò)構(gòu)建系統(tǒng)來(lái)實(shí)現(xiàn)其他目標(biāo)，比如贏得戰(zhàn)爭(zhēng)或?qū)崿F(xiàn)利潤(rùn)最大化，而且可能不太關(guān)注道德約束。這些系統(tǒng)可能危險(xiǎn)得多。

這些問(wèn)題自然會(huì)讓人們認(rèn)為，如果我們發(fā)現(xiàn)人工智能系統(tǒng)將我們引向一條錯(cuò)誤的道路，我們可以直接關(guān)閉它們。但到了最后，即使是這種由來(lái)已久的退路也可能失敗，因?yàn)槲覀冇谐浞值睦碛上嘈?，一個(gè)足夠智能的系統(tǒng)有能力抵制我們關(guān)閉它的嘗試。這種行為不會(huì)被恐懼、怨恨或求生等情緒所驅(qū)動(dòng)。相反，它直接來(lái)自系統(tǒng)一心一意追求回報(bào)最大化的偏好：被關(guān)閉是一種喪失能力的形式，這將使它更難獲得高額回報(bào)，所以系統(tǒng)有動(dòng)力去避免被關(guān)閉。這樣一來(lái)，回報(bào)最大化的終極結(jié)果將使高智能系統(tǒng)產(chǎn)生謀求生存這一工具性目標(biāo)。

而這不會(huì)是唯一的工具性目標(biāo)。人工智能體也會(huì)抵制使其獎(jiǎng)勵(lì)函數(shù)更符合人類價(jià)值觀的嘗試—因?yàn)樗梢灶A(yù)知，這將影響它獲得當(dāng)前它認(rèn)為有價(jià)值的東西。它將尋求獲得更多的資源，包括計(jì)算能力上的、物理上的或者屬于人類的，因?yàn)檫@些資源會(huì)讓它更好地塑造世界以獲得更高的獎(jiǎng)勵(lì)。而最終它將有動(dòng)力從人類手中奪取對(duì)未來(lái)的控制權(quán)，因?yàn)檫@將有助于實(shí)現(xiàn)所有這些工具性目標(biāo)：獲得大量資源，同時(shí)避免被關(guān)閉或者獎(jiǎng)勵(lì)函數(shù)被改變。由于人類干擾所有這些工具性目標(biāo)在其意之中，它會(huì)有動(dòng)機(jī)向我們隱瞞這些目標(biāo)，直到我們?cè)僖瞾?lái)不及進(jìn)行有意義的抵抗。

對(duì)上述情景持懷疑態(tài)度的人有時(shí)會(huì)說(shuō)，這種情況所依賴的人工智能系統(tǒng)要聰明得可以控制世界，但又要愚蠢得無(wú)法意識(shí)到這不是我們想要的。但這屬于一種誤解。因?yàn)槭聦?shí)上我們對(duì)人工智能動(dòng)機(jī)的簡(jiǎn)述已經(jīng)明確承認(rèn)，系統(tǒng)會(huì)發(fā)現(xiàn)它的目標(biāo)與我們的目標(biāo)不一致—這才是促使它走向欺騙、沖突和奪取控制權(quán)的原因。真正的問(wèn)題是，人工智能研究者還不知道如何制造這樣一個(gè)系統(tǒng)：它在注意到這種錯(cuò)位后，會(huì)把它的終極價(jià)值更新至與我們保持一致，而不是更新它的工具性目標(biāo)來(lái)戰(zhàn)勝我們。

我們也許可以為上面的每一個(gè)問(wèn)題都打上補(bǔ)丁，或者找到對(duì)齊人工智能的新方法，一次性解決很多問(wèn)題，或者轉(zhuǎn)向不會(huì)引起這些問(wèn)題的通用人工智能新范式。我當(dāng)然希望如此，也一直在密切關(guān)注這個(gè)領(lǐng)域的進(jìn)展。但這種進(jìn)展是有限的，我們?nèi)匀幻媾R懸而未決的關(guān)鍵問(wèn)題。在現(xiàn)有的范式中，足夠聰明的人工智能體最終會(huì)以工具性目標(biāo)來(lái)欺騙和制服我們。而且，如果它們的智慧大大超過(guò)人類本身，我們就不要指望人類會(huì)贏得勝利并保持對(duì)自身未來(lái)的控制了。

人工智能系統(tǒng)會(huì)如何奪取控制權(quán)？

關(guān)于這一點(diǎn)，有一個(gè)很大的誤解（受好萊塢和媒體的影響），認(rèn)為需要機(jī)器人來(lái)實(shí)現(xiàn)。畢竟，人工智能怎么能以其他形式在物理世界中行動(dòng)呢？如果沒(méi)有機(jī)器人的操控者，系統(tǒng)只能產(chǎn)生文字、圖片和聲音。但稍加思考就會(huì)發(fā)現(xiàn)，這些恰恰是需要控制的。因?yàn)闅v史上最具破壞力的人并非最強(qiáng)大的人。希特勒通過(guò)話語(yǔ)說(shuō)服其他千百萬(wàn)人贏得必要的身體上的較量，實(shí)現(xiàn)了對(duì)世界上很大一部分地區(qū)的絕對(duì)控制。只要人工智能系統(tǒng)能夠誘使或脅迫人們聽從它的物理命令，它就根本不需要機(jī)器人。

我們無(wú)法確切地知道一個(gè)系統(tǒng)如何奪取控制權(quán)。最現(xiàn)實(shí)的情況可能是，系統(tǒng)會(huì)使用非人類的微妙行為，我們既無(wú)法預(yù)測(cè)，也無(wú)法真正理解，而且這些行為可能針對(duì)我們目前無(wú)從得知的人類文明弱點(diǎn)。不過(guò)我們把自己能真正理解的一種可供說(shuō)明問(wèn)題的情況作為可能發(fā)生的下限，這一點(diǎn)是有幫助的。

首先，人工智能系統(tǒng)可以進(jìn)入互聯(lián)網(wǎng)，并隱藏成千上萬(wàn)的備份，分散在世界各地不安全的計(jì)算機(jī)系統(tǒng)中，如果原件被刪除，備份的副本隨時(shí)可被喚醒并繼續(xù)工作。即使只到這一步，人工智能實(shí)際上也不可能被摧毀了：想一想清除世界上所有可能有備份的硬盤驅(qū)動(dòng)器會(huì)遇到的政治阻礙。

接下來(lái)，它可以接管互聯(lián)網(wǎng)上無(wú)數(shù)不安全的系統(tǒng)，形成一個(gè)大型“僵尸網(wǎng)絡(luò)”。這將使計(jì)算資源的規(guī)模急劇擴(kuò)大，并為控制權(quán)升級(jí)提供一個(gè)平臺(tái)。它可以從那里獲得財(cái)富資源（入侵這些計(jì)算機(jī)上的銀行賬戶）和人力資源（對(duì)易受影響的人進(jìn)行勒索或宣傳，或者直接用偷來(lái)的錢支付給他們）。這樣一來(lái)，它就會(huì)像一個(gè)資源充足的黑社會(huì)犯罪組織一樣強(qiáng)大，但更難消滅。這些步驟一點(diǎn)都不神秘—黑客和普通智商的罪犯已經(jīng)利用互聯(lián)網(wǎng)做過(guò)這些事情。

最后，人工智能需要再次升級(jí)它的控制權(quán)。這更多是一種推測(cè)，但有許多可實(shí)現(xiàn)的途徑：接管世界上大部分的計(jì)算機(jī)，使人工智能擁有數(shù)以億計(jì)的合作副本；利用竊取的計(jì)算能力使人工智能遠(yuǎn)遠(yuǎn)超過(guò)人類水平；利用人工智能開發(fā)新的武器技術(shù)或經(jīng)濟(jì)技術(shù)；操縱世界大國(guó)的領(lǐng)導(dǎo)人（通過(guò)訛詐手段，或承諾未來(lái)賦予其權(quán)力）；或者讓人工智能控制下的人類使用大規(guī)模殺傷性武器來(lái)削弱同類。

當(dāng)然，目前的人工智能系統(tǒng)都無(wú)法做到這些事情。但我們正在探索的問(wèn)題是，是否有可信的途徑，能讓擁有高度智慧的通用人工智能系統(tǒng)奪取控制權(quán)。答案似乎是肯定的。歷史上已經(jīng)出現(xiàn)過(guò)這種情況：具備一定人類智商水平的個(gè)體把個(gè)人控制權(quán)擴(kuò)張為全球很大一部分區(qū)域的控制權(quán)，將其作為工具性目標(biāo)來(lái)實(shí)現(xiàn)他們的最終目的。我們也看到了人類如何從一個(gè)數(shù)量不到百萬(wàn)的稀少物種，規(guī)模擴(kuò)大至對(duì)未來(lái)?yè)碛袥Q定性的控制權(quán)。所以我們應(yīng)該假設(shè)，這也有可能發(fā)生在那些智力大大超過(guò)人類的新實(shí)體上，尤其當(dāng)它們由于備份副本而擁有永久生效的能力，并且能夠?qū)⒗U獲的金錢或計(jì)算機(jī)直接轉(zhuǎn)化為更多副本之時(shí)。

這樣的結(jié)果不一定會(huì)導(dǎo)致人類滅絕。但還是很容易成為一場(chǎng)生存性災(zāi)難。人類將再也不能掌控未來(lái)，我們的未來(lái)將取決于一小部分人如何設(shè)置計(jì)算機(jī)系統(tǒng)的接管方式。幸運(yùn)的話，我們可能會(huì)得到一個(gè)對(duì)人類有利或者還算過(guò)得去的結(jié)果，否則我們很容易就會(huì)永遠(yuǎn)陷入一個(gè)有著重大缺陷或反烏托邦式的未來(lái)。

我把重點(diǎn)放在人工智能系統(tǒng)奪取未來(lái)控制權(quán)的情景上，因?yàn)槲艺J(rèn)為這是人工智能最有可能帶來(lái)的生存性風(fēng)險(xiǎn)。但其他威脅也是存在的，而且專家們對(duì)其中哪一種造成的生存性風(fēng)險(xiǎn)最大存在分歧。例如，我們的未來(lái)存在著逐漸受控于人工智能的風(fēng)險(xiǎn)，在這種情況下，越來(lái)越多的控制權(quán)被移交給人工智能系統(tǒng)，越來(lái)越多的未來(lái)以非人類的價(jià)值觀作為導(dǎo)向。另外，還存在故意濫用超級(jí)人工智能系統(tǒng)所帶來(lái)的風(fēng)險(xiǎn)。

即使這些關(guān)于風(fēng)險(xiǎn)的論點(diǎn)在具體細(xì)節(jié)上是完全錯(cuò)誤的，我們也應(yīng)該密切關(guān)注通用人工智能的發(fā)展，因?yàn)樗赡軒?lái)其他不可預(yù)見的風(fēng)險(xiǎn)。如果人類不再是地球上最有智慧的主體，這種轉(zhuǎn)變很容易就成為人類在宇宙中地位的最大變化。如果圍繞這一轉(zhuǎn)變而發(fā)生的事件決定了我們的長(zhǎng)期未來(lái)—無(wú)論是好是壞，我們都不應(yīng)該感到驚訝。

人工智能幫助人類改善長(zhǎng)期未來(lái)的一個(gè)關(guān)鍵方法是提供保護(hù)，使我們免受其他生存性風(fēng)險(xiǎn)傷害。例如，人工智能可以讓我們找到解決重大風(fēng)險(xiǎn)的辦法，或者識(shí)別出本來(lái)會(huì)讓我們意想不到的新風(fēng)險(xiǎn)。人工智能還可以讓我們的長(zhǎng)期未來(lái)比任何不依賴人工智能的前途都要更加光明。因此，人工智能發(fā)展可能會(huì)帶來(lái)生存性風(fēng)險(xiǎn)的想法并不是勸我們放棄人工智能，而是提醒我們要謹(jǐn)慎行事。

認(rèn)為人工智能會(huì)帶來(lái)生存性風(fēng)險(xiǎn)的想法顯然是一種推測(cè)。事實(shí)上，這是本書中推測(cè)性最強(qiáng)的重大風(fēng)險(xiǎn)。然而，一個(gè)危害極大的推測(cè)性風(fēng)險(xiǎn)，可能比一個(gè)概率極低的確信風(fēng)險(xiǎn)（如小行星撞擊的風(fēng)險(xiǎn)）更為重要。我們需要找到辦法來(lái)驗(yàn)證這些推測(cè)成真的可能性到底有多大，一個(gè)非常有用的切入點(diǎn)是聽聽那些在這個(gè)領(lǐng)域工作的人對(duì)這個(gè)風(fēng)險(xiǎn)的看法。

奧倫·埃齊奧尼（Oren Etzioni）教授等坦率直言的人工智能研究人員將這種風(fēng)險(xiǎn)描繪成“非常次要的爭(zhēng)論”，認(rèn)為雖然像斯蒂芬·霍金、埃隆·馬斯克和比爾·蓋茨這樣的名人可能會(huì)深感憂慮，但真正從事人工智能研究的人并不擔(dān)心。如果這是真的，我們就有充分的理由懷疑人工智能的風(fēng)險(xiǎn)并不大。但即便只是簡(jiǎn)單了解一下人工智能領(lǐng)域領(lǐng)軍人物的言論，也會(huì)發(fā)現(xiàn)事實(shí)并非如此。

例如，加州大學(xué)伯克利分校教授、人工智能領(lǐng)域最受歡迎和最受推崇的教科書作者斯圖爾特·羅素就強(qiáng)烈警告過(guò)通用人工智能帶來(lái)的生存性風(fēng)險(xiǎn)。他甚至成立了“人類兼容人工智能中心”（Center for Human-Compatible AI），致力于解決人工智能的對(duì)齊問(wèn)題。在應(yīng)用領(lǐng)域，沙恩·萊格（DeepMind 的首席科學(xué)家）提出了生存危險(xiǎn)警告，并協(xié)助推動(dòng)了人工智能對(duì)齊問(wèn)題的研究。事實(shí)上，從人工智能發(fā)展早期到現(xiàn)在，還有很多其他重要人物發(fā)表過(guò)類似言論。

這里的分歧其實(shí)比表面上看起來(lái)要小。那些淡化風(fēng)險(xiǎn)的人的主要觀點(diǎn)是：（1）我們很可能還有幾十年的時(shí)間才能讓人工智能與人類能力相匹敵或超過(guò)人類水平；（2）試圖立即制約人工智能研究將是一個(gè)巨大的錯(cuò)誤。然而那些提出謹(jǐn)慎看法的人其實(shí)并沒(méi)有質(zhì)疑這兩點(diǎn)：他們一致認(rèn)為，實(shí)現(xiàn)通用人工智能的時(shí)間范圍是幾十年，而不是幾年，并且他們通常建議研究人工智能的對(duì)齊問(wèn)題，而不是監(jiān)管問(wèn)題。因此，實(shí)質(zhì)性的分歧并不在于通用人工智能是否可能或有證據(jù)顯示它對(duì)人類構(gòu)成威脅，而是一個(gè)看似幾十年后才會(huì)出現(xiàn)的潛在生存威脅是否應(yīng)該引起我們目前的關(guān)注。而在我看來(lái)，答案是肯定的。

造成這種明顯分歧的根本原因之一是對(duì)“適當(dāng)保守”的看法不一。一個(gè)更早的推測(cè)性風(fēng)險(xiǎn)很好地說(shuō)明了這一點(diǎn)，當(dāng)利奧·西拉德和恩里科·費(fèi)米第一次談?wù)撝圃煸訌椀目赡苄詴r(shí)說(shuō)道：“費(fèi)米認(rèn)為保守的做法是淡化這種可能性，而我認(rèn)為保守的做法是假設(shè)它會(huì)發(fā)生，并采取一切必要的預(yù)防措施?！?015 年，在波多黎各一次關(guān)于人工智能未來(lái)的開創(chuàng)性會(huì)議上，我看到了同樣的互動(dòng)。每個(gè)人都承認(rèn)，通用人工智能在實(shí)現(xiàn)時(shí)間方面的不確定性和意見分歧要求我們對(duì)進(jìn)展使用“保守假設(shè)”—但有一半人使用這個(gè)詞是因?yàn)榭紤]到令人遺憾的緩慢科學(xué)進(jìn)展，而另一半人則是考慮到同樣令人遺憾的風(fēng)險(xiǎn)出現(xiàn)之快。我相信，目前有關(guān)是否應(yīng)該認(rèn)真對(duì)待通用人工智能風(fēng)險(xiǎn)的拉鋸局面，很大程度上歸因于人們對(duì)有關(guān)人工智能未來(lái)進(jìn)展的負(fù)責(zé)任的、保守的推測(cè)意味著什么，持有不一致的看法。

波多黎各會(huì)議是關(guān)注人工智能生存性風(fēng)險(xiǎn)的一個(gè)分水嶺。會(huì)議達(dá)成了實(shí)質(zhì)性的協(xié)議，許多與會(huì)者簽署了一封公開信，表示要開始認(rèn)真研究如何使人工智能既強(qiáng)大又對(duì)人類有利。兩年后，又有一場(chǎng)規(guī)模更大的會(huì)議在阿西洛馬召開，選擇這個(gè)地點(diǎn)是為了呼應(yīng)著名的1975 年遺傳學(xué)會(huì)議。在當(dāng)年那次會(huì)議上，生物學(xué)家們齊聚一堂，頗有先見之明地商定原則，以管理可能很快實(shí)現(xiàn)的基因工程。在2017 年的阿西洛馬，人工智能研究者商定了一套阿西洛馬人工智能原則，以指導(dǎo)該領(lǐng)域以負(fù)責(zé)任的方式長(zhǎng)期發(fā)展。其中包括專門針對(duì)生存性風(fēng)險(xiǎn)的原則：

能力警惕：由于尚未達(dá)成共識(shí)，我們應(yīng)該避免對(duì)未來(lái)人工智能的能力上限做出較為肯定的假設(shè)。

重要性：高級(jí)人工智能可代表地球生命史上的一次重大變化，應(yīng)該以與之相稱的注意力和資源來(lái)進(jìn)行規(guī)劃和管理。

風(fēng)險(xiǎn)：對(duì)于人工智能造成的風(fēng)險(xiǎn)，尤其是那些災(zāi)難性和毀滅性的風(fēng)險(xiǎn)，必須付出與其可造成的影響相稱的努力，以用于規(guī)劃和緩解風(fēng)險(xiǎn)。

或許了解人工智能研究者真實(shí)想法的最佳窗口是2016 年對(duì)人工智能重要研究人員的調(diào)查。除了詢問(wèn)通用人工智能是否以及何時(shí)可能被開發(fā)出來(lái)，調(diào)查者還詢問(wèn)了風(fēng)險(xiǎn)問(wèn)題：70% 的研究人員同意斯圖爾特·羅素關(guān)于為什么高級(jí)人工智能可能會(huì)帶來(lái)風(fēng)險(xiǎn)的寬泛論點(diǎn)；48%的人認(rèn)為社會(huì)應(yīng)該優(yōu)先考慮人工智能的安全問(wèn)題（只有12% 的人認(rèn)為不需要）。而一半的受訪者估計(jì)通用人工智能造成“極其糟糕（如導(dǎo)致人類滅絕）”的長(zhǎng)遠(yuǎn)影響的概率至少是5%。我覺(jué)得最后一點(diǎn)特別了不起—有多少其他領(lǐng)域的典型頂尖研究者會(huì)認(rèn)為該領(lǐng)域的最終目標(biāo)有1/20 的概率對(duì)人類極其不利？

當(dāng)然這并不能證明風(fēng)險(xiǎn)是真實(shí)存在的。但它說(shuō)明了很多人工智能研究者對(duì)通用人工智能在50 年內(nèi)獲得發(fā)展以及成為一場(chǎng)生存性災(zāi)難的可能性持嚴(yán)肅態(tài)度。雖然有很多不確定性和分歧，但它絕對(duì)不是一個(gè)次要問(wèn)題。

當(dāng)有更多研究人員承認(rèn)人工智能的風(fēng)險(xiǎn)時(shí)，有一個(gè)對(duì)風(fēng)險(xiǎn)持懷疑態(tài)度的值得關(guān)注的論點(diǎn)就變得更加有力—而非站不住腳。如果研究人員能夠預(yù)見構(gòu)建人工智能將是極其危險(xiǎn)的，那么他們到底為什么要做這件事呢？他們不會(huì)只是為了建造出明知會(huì)毀滅他們的東西。

如果我們都真正明智、利他且相互協(xié)作，那么這個(gè)論點(diǎn)確實(shí)說(shuō)得通。但在現(xiàn)實(shí)世界中，人們往往一有機(jī)會(huì)就先開發(fā)技術(shù)，之后再處理后果。其中一個(gè)原因來(lái)自我們的理念差異：哪怕只有一小部分研究人員不相信人工智能的危險(xiǎn)性（或者歡迎由機(jī)器控制的世界），他們都會(huì)成為邁出最后一步的人。這就是單邊主義詛咒的一個(gè)例子。另一個(gè)原因與動(dòng)機(jī)有關(guān)：即使一些研究人員認(rèn)為風(fēng)險(xiǎn)高達(dá)10%，但如果他們認(rèn)為自己會(huì)獲得大部分利益，那可能還是會(huì)愿意承受風(fēng)險(xiǎn)。從他們的自身利益來(lái)說(shuō)，這可能是合理的，但對(duì)世界來(lái)說(shuō)卻不堪設(shè)想。

在某些類似的情況下，政府可以為了公共利益而介入，解決這些協(xié)調(diào)和動(dòng)機(jī)問(wèn)題。但在這里，這些完全相同的協(xié)調(diào)和動(dòng)機(jī)問(wèn)題出現(xiàn)在國(guó)家之間，而且沒(méi)有簡(jiǎn)單的機(jī)制來(lái)解決。如果一個(gè)國(guó)家要緩慢而安全地解決它們，則可能擔(dān)心其他國(guó)家試圖奪取其工作成果。締結(jié)條約變得異常

困難，因?yàn)楹瞬槠渌麌?guó)家是否遵守條約比核查生物武器更加困難。

我們能否在人工智能的發(fā)展中生存下來(lái)，并保持我們的長(zhǎng)期發(fā)展?jié)摿ν旰脽o(wú)損，有可能取決于我們能否在開發(fā)出足以構(gòu)成威脅的系統(tǒng)之前學(xué)會(huì)對(duì)齊和控制人工智能系統(tǒng)。值得慶幸的是，研究人員已經(jīng)在研究各種關(guān)鍵問(wèn)題，包括如何讓人工智能更安全、更穩(wěn)健、更易理解。但研究讓人工智能與人類價(jià)值觀對(duì)齊這一核心問(wèn)題的人仍然很少。這是一個(gè)新興的領(lǐng)域，我們需要在該領(lǐng)域取得長(zhǎng)足的進(jìn)步，才能實(shí)現(xiàn)自身的安全。

盡管目前以及可預(yù)見的系統(tǒng)不會(huì)對(duì)人類整體構(gòu)成威脅，但時(shí)間是最關(guān)鍵的。一部分原因是人工智能的進(jìn)步可能來(lái)得非常突然：通過(guò)無(wú)法預(yù)知的研究突破，或通過(guò)迅速擴(kuò)大第一代智能系統(tǒng)的規(guī)模（例如將其推廣到數(shù)量為目前數(shù)千倍的硬件上，或者提高它們自身的智能）。另一

部分原因是人類事務(wù)中如此重大的變化可能需要超過(guò)幾十年的時(shí)間來(lái)充分準(zhǔn)備。用DeepMind 的聯(lián)合創(chuàng)始人德米什·哈薩比斯的話來(lái)說(shuō)：

我們要利用人工智能發(fā)展的停頓期，在風(fēng)平浪靜的時(shí)候?yàn)榻窈髱资晔聭B(tài)嚴(yán)重起來(lái)之時(shí)做好準(zhǔn)備。我們現(xiàn)在擁有的時(shí)間是寶貴的，需要利用起來(lái)。

書名：《危崖 : 生存性風(fēng)險(xiǎn)與人類的未來(lái)》作者：［澳］ 托比·奧德（Toby Ord）出版社：中信出版集團(tuán)

作者簡(jiǎn)介

托比·奧德（Toby Ord）

澳大利亞哲學(xué)家，任教于牛津大學(xué)，是牛津大學(xué)人類未來(lái)研究所高級(jí)研究員。

托比·奧德的研究工作主要集中在人類面臨的大局問(wèn)題上。他早期研究的是探討全球貧困的倫理問(wèn)題，為此他創(chuàng)建了一個(gè)名為“盡我們所能”的組織，承諾一生中將共同捐出超過(guò)10 億英鎊，支持最有成效的慈善機(jī)構(gòu)以改善世界。此外，他還協(xié)同發(fā)起了有效利他主義運(yùn)動(dòng)，拓寬這些理念。

他目前研究的是有可能造成人類滅絕或文明永久崩潰的風(fēng)險(xiǎn)，以及如何在這些危險(xiǎn)中保衛(wèi)人類，他認(rèn)為這是我們面臨的緊迫且容易被忽視的問(wèn)題之一。

他曾為世界銀行、世界經(jīng)濟(jì)論壇、美國(guó)國(guó)家情報(bào)委員會(huì)、DeepMind、英國(guó)內(nèi)閣辦公室和英國(guó)首相辦公室等組織機(jī)構(gòu)提供風(fēng)險(xiǎn)咨詢建議。

關(guān)鍵詞：