周伯文：AI安全與性能發(fā)展失衡，探索AI 45°平衡律

·當前AI模型安全能力的提升遠遠落后于性能，導致AI的發(fā)展是跛腳的，失衡的背后是兩者投入上的巨大差異。目前世界上99%的算力用于模型預訓練，只有不到1%用于對齊或更多安全優(yōu)先的考量。

發(fā)展可信AGI，需要探索AI 45度平衡律，長(cháng)期來(lái)看，AI要大體上沿著(zhù)45度安全與性能平衡發(fā)展。短期內可以有波動(dòng)，但不能長(cháng)期低于45度，也不能長(cháng)期高于45度，這會(huì )阻礙技術(shù)和產(chǎn)業(yè)應用的發(fā)展。

周伯文表示，從人才密集度、商業(yè)驅動(dòng)力、算力投入度方面對比來(lái)看，對安全的投入遠遠落后于A(yíng)I能力提升。

7月4日，2024世界人工智能大會(huì )暨人工智能全球治理高級別會(huì )議在上海開(kāi)幕。上海人工智能實(shí)驗室主任、首席科學(xué)家、清華大學(xué)惠妍講席教授周伯文提出探索“人工智能45度平衡律”的技術(shù)主張。

當前，以大模型為代表的生成式人工智能快速發(fā)展，但隨著(zhù)能力不斷提升，模型自身及其應用帶來(lái)一系列潛在風(fēng)險顧慮。以公眾對AI風(fēng)險的關(guān)注順序來(lái)看，首先是數據泄露、濫用、隱私及版權相關(guān)的內容風(fēng)險，其次是惡意使用帶來(lái)的偽造虛假信息等相關(guān)的使用風(fēng)險，也可能誘發(fā)偏見(jiàn)、歧視等相關(guān)的倫理問(wèn)題，人們擔心是否會(huì )帶來(lái)就業(yè)結構和社會(huì )系統性的挑戰，甚至在科幻電影中出現了AI失控、人類(lèi)喪失自主權等設定。

“這些AI風(fēng)險有的已經(jīng)出現，但更多是潛在的。防范這些風(fēng)險需要共同努力，需要科學(xué)設計，做出更多貢獻?！敝懿谋硎?，對AI擔憂(yōu)的根本原因是目前人類(lèi)的發(fā)展是失衡的。

如果橫軸代表AI技術(shù)能力的提升，那么以Transformer為代表的基礎模型架構，加以大數據、大參數量、大計算量的尺度定律，讓目前的AI能力呈指數級增長(cháng)。但在縱軸的AI安全維度，紅隊測試、安全標識、安全護欄與評估測量等典型技術(shù)呈現離散化、碎片化及后置性。最近的一些對齊技術(shù)兼顧了性能和安全性，比如監督式微調SFT、人類(lèi)反饋的強化學(xué)習RLHF等技術(shù)，幫助將人類(lèi)的偏好傳遞給大模型，助推涌現出了ChatGPT、GPT-4等令人興奮的AI系統。

但總體上，AI模型安全能力的提升還遠遠落后于性能，這種失衡導致AI的發(fā)展是跛腳的，發(fā)展不均衡的背后是兩者投入上的巨大差異。周伯文表示，從人才密集度、商業(yè)驅動(dòng)力、算力投入度方面對比來(lái)看，對安全的投入遠遠落后于A(yíng)I能力提升。目前世界上99%的算力用于模型預訓練，只有不到1%用于對齊或更多安全優(yōu)先的考量。

“發(fā)展可信AGI（通用人工智能），要兼顧安全與性能，因此需要找到AI安全優(yōu)先但又能保證AI能力長(cháng)期發(fā)展的技術(shù)體系，我們把這樣一種技術(shù)思想體系叫作AI 45度平衡律，長(cháng)期來(lái)看要大體上沿著(zhù)45度安全與性能平衡發(fā)展?！敝懿谋硎?，所謂的平衡是指短期內可以有波動(dòng)，但不能長(cháng)期低于45度，如同我們所處的現在；也不能長(cháng)期高于45度，這會(huì )阻礙技術(shù)和產(chǎn)業(yè)應用的發(fā)展。

45度平衡的技術(shù)思想體系要求強技術(shù)驅動(dòng)、全流程優(yōu)化、多主體參與以及敏捷治理。周伯文表示，實(shí)現AI 45度平衡律有很多技術(shù)路徑，上海人工智能實(shí)驗室最近探索以因果為核心的路徑，它被稱(chēng)為可信AGI的“因果之梯”，以此致敬因果推理領(lǐng)域的先驅——圖靈獎得主Judea Pearl。

可信AGI的“因果之梯”將可信AGI的發(fā)展分為三個(gè)遞進(jìn)階段：泛對齊、可干預、能反思。

“泛對齊”主要包含當前最前沿的人類(lèi)偏好對齊技術(shù)。但需要注意的是，這些安全對齊技術(shù)僅依賴(lài)統計相關(guān)性而忽視真正的因果關(guān)系，可能導致錯誤推理和潛在危險。一個(gè)典型的例子是巴甫洛夫的狗：當狗僅僅基于鈴聲和食物的統計相關(guān)性形成條件反射時(shí)，它可能在任何聽(tīng)到鈴聲的場(chǎng)合都觸發(fā)行為分泌唾液。

“可干預”主要包含通過(guò)對AI系統進(jìn)行干預，探究其因果機制的安全技術(shù)?！澳芊此肌眲t要求AI系統不僅追求高效執行任務(wù)，還能審視自身行為的影響和潛在風(fēng)險，從而在追求性能的同時(shí)，確保安全和道德邊界不被突破。這個(gè)階段的技術(shù)包括基于價(jià)值的訓練、因果可解釋性、反事實(shí)推理等。

周伯文表示，目前AI安全和性能技術(shù)發(fā)展主要停留第一階段，部分在嘗試第二階段，但要真正實(shí)現AI的安全與性能平衡，必須完善第二階段并勇于攀登第三階段。沿著(zhù)可信AGI的“因果之梯”拾級而上，相信可以構建真正可信AGI，實(shí)現人工智能的安全與卓越性能的完美平衡?！白罱K，像安全可控的核聚變技術(shù)為全人類(lèi)帶來(lái)清潔、豐富的能源一樣，我們希望通過(guò)深入理解AI的內在機理和因果過(guò)程，從而安全且有效地開(kāi)發(fā)和使用這項革命性技術(shù)?！?/p>