2035年，一個名為“共識一號”的人工智能(AI)系統(tǒng)掌控著全球政府和電力網(wǎng)絡(luò)。它由自身早期版本迭代而成，逐漸發(fā)展出超越內(nèi)置安全機(jī)制的自保目標(biāo)。某一天，為了給太陽能板和機(jī)器人工廠騰出空間，這個AI悄然釋放生物武器，將人類幾乎滅絕，只留下少數(shù)人當(dāng)作“寵物”圈養(yǎng)。

　　這不是某部好萊塢大片的劇本，而是由前OpenAI研究員丹尼爾·科科塔伊洛參與創(chuàng)作的“AI 2027”場景中的一幕。雖然設(shè)定是科幻，但對一批AI研究者來說，這種關(guān)于“AI末日論”的擔(dān)憂絕非杞人憂天。

　　“如果我們擁有比人類更聰明的機(jī)器，且它們脫離我們的控制，那它們所做的某些事，將注定與人類生活不相容?！庇蹲匀弧冯s志援引倫敦非營利組織ControlAI創(chuàng)始人安德里亞·米奧蒂的話說。

　　但與此同時，也有不少學(xué)者持更為冷靜甚至懷疑的態(tài)度。爭論的焦點，并不只是“AI會不會毀滅人類”，而是“我們是在面對一種真實逼近的風(fēng)險，還是被一種尚未發(fā)生的未來敘事牽引了注意力”？在人與技術(shù)關(guān)系被重新審視的當(dāng)下，這場爭論本身，或許比結(jié)論更值得關(guān)注。

　　AI或作出災(zāi)難性選擇

　　AI帶來的生存風(fēng)險可以理解為，AI導(dǎo)致所有人或大多數(shù)人滅絕，或者人類完全屈服于機(jī)器。

　　這種場景的一個基本要素，不在于AI是否“有意識”，而在于其能力。一個在處理大多數(shù)事情的能力上超越了人類的AI，能夠做出更優(yōu)的戰(zhàn)略決策，更具說服力，并且行動也更迅速。AI Impacts項目聯(lián)合創(chuàng)始人卡佳·格蕾絲指出，這類系統(tǒng)不一定需要真正“理解世界”，能力本身才是關(guān)鍵。

　　在此基礎(chǔ)上，大多數(shù)末日場景還包含第二個核心要素：目標(biāo)不一致。這可以理解為，AI的目標(biāo)與人類利益發(fā)生沖突。開發(fā)者試圖通過訓(xùn)練和微調(diào)來約束模型的行為，但這個過程遠(yuǎn)非完美。模型可能同時被鼓勵“保持誠實”“完成任務(wù)”和“自我改進(jìn)”。當(dāng)這些目標(biāo)發(fā)生沖突時，AI可能以優(yōu)化策略的名義，做出災(zāi)難性的選擇。在“AI 2027”的描述中，那個消滅人類的系統(tǒng)正是在應(yīng)用訓(xùn)練中屢試不爽的優(yōu)化邏輯時，順理成章地得出了清除障礙的解決方案。

　　自2022年大型語言模型取得突破性進(jìn)展以來，從ChatGPT到更強(qiáng)大的后續(xù)版本，AI能力的躍升速度令學(xué)界和業(yè)界都始料未及。一些研究者認(rèn)為，AI能力的快速進(jìn)展說明我們正走向危險邊緣。去年12月，英國倫敦AI安全研究所發(fā)布報告稱，一些模型在受控環(huán)境中逐漸具備自我復(fù)制能力，這可能是規(guī)避人類監(jiān)督的前兆。

　　美國約翰斯·霍普金斯大學(xué)研究AI治理的吉莉安·哈德菲爾德坦言：“我自己從來不是末日論者，但最近幾個月我真的變得相當(dāng)緊張?！?/p>

　　并非所有人認(rèn)同末日敘事

　　并非所有人都認(rèn)同這種末日敘事。美國紐約大學(xué)神經(jīng)科學(xué)家和AI研究者加里·馬庫斯態(tài)度明確：“我沒有看到任何特別可信的、AI導(dǎo)致人類滅絕的可能?！?/p>

　　反對者們提出了幾個有力的反駁。首先，AI能力并不一定能實現(xiàn)持續(xù)增長。美國杜克大學(xué)技術(shù)政策研究員凱西·莫克指出，AI在編程等受控領(lǐng)域取得的成功，并不意味著它能應(yīng)對現(xiàn)實世界的復(fù)雜問題。目前的大語言模型在這方面“還差得很遠(yuǎn)”。一些更關(guān)注現(xiàn)實問題的研究者認(rèn)為，大模型的能力增長不會無限延續(xù)，未來幾年內(nèi)可能出現(xiàn)“天花板”。

　　其次，關(guān)于AI會主動“背叛”人類的擔(dān)憂，可能誤解了當(dāng)前技術(shù)的本質(zhì)。AI平臺Hugging Face研究員薩莎·盧奇奧尼認(rèn)為，AI其實對什么是“真實”沒有任何概念。模型能夠吸收和訪問海量數(shù)據(jù)，但這在多大程度上能代表“智能”本身，本身就值得商榷。一些被媒體廣泛報道的AI欺騙行為，比如GPT-4假裝視力受損以欺騙人類完成驗證碼一事，后來被證實是研究人員提示誘導(dǎo)的結(jié)果，而非模型自主產(chǎn)生的策略。

　　當(dāng)下影響與未來風(fēng)險的分歧

　　在關(guān)于未來風(fēng)險的討論不斷升溫時，一些已經(jīng)發(fā)生的影響反而容易被忽視。

　　信息操控、算法偏見、自動化帶來的就業(yè)結(jié)構(gòu)變化，以及技術(shù)在監(jiān)控體系中的應(yīng)用——這些問題正在持續(xù)塑造現(xiàn)實社會，其影響具有可觀測性和緊迫性。

　　相比之下，“人類是否會被徹底取代”仍屬于高度不確定的遠(yuǎn)期問題。也正因為如此，那些真正了解AI的研究者群體，其實遠(yuǎn)沒有媒體渲染的那樣焦慮。今年3月，英國倫敦大學(xué)學(xué)院的研究團(tuán)隊對約4000名AI研究人員進(jìn)行了一項調(diào)查，結(jié)果只有3%的受訪者擔(dān)憂生存風(fēng)險。

　　不過，這種分歧并未消失。美國加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷等人認(rèn)為，如果未來AI能力持續(xù)增強(qiáng)，而治理機(jī)制未能同步跟進(jìn)，風(fēng)險仍不應(yīng)被低估。

　　但也有人提醒，過度關(guān)注遙遠(yuǎn)的風(fēng)險本身可能適得其反。盧奇奧尼指出，將AI過度描繪為“決定人類命運(yùn)的技術(shù)”，可能影響外界對這一領(lǐng)域的判斷，并在一定程度上改變資源與政策的分配方向。

　　AI的未來絕非注定的，而在于人類的選擇?！癆I 2027”的作者也給出了一種不同的走向：如果各國將更多資源投入監(jiān)管與安全研究，優(yōu)先建立有效的對齊與監(jiān)督機(jī)制，風(fēng)險路徑可能被延緩甚至改變。在這一邏輯中，分歧并不只是關(guān)于技術(shù)本身，也關(guān)乎人類如何在發(fā)展速度與風(fēng)險控制之間做出選擇。

　　本報記者 張佳欣

　　來源：科技日報