新晉上海AI實(shí)驗室主任周伯文：AI安全投入落后于性能提升

7月4日，2024世界人工智能大會(huì )暨人工智能全球治理高級別會(huì )議在上海開(kāi)幕。大模型初創(chuàng )公司銜遠科技創(chuàng )始人周伯文首度以新身份公開(kāi)出席活動(dòng)。

今年5月下旬以來(lái)，外界傳聞稱(chēng)，周伯文將赴任上海人工智能實(shí)驗室主任一職，接替因病去世的商湯科技創(chuàng )始人湯曉鷗。這一消息在世界人工智能大會(huì )開(kāi)幕式上得到證實(shí)，周伯文已擔任上海人工智能實(shí)驗室主任兼首席科學(xué)家。

2017年，周伯文從IBM公司離職回國，加盟吉印通擔任副總裁，負責吉印通AI研究與平臺部相關(guān)業(yè)務(wù)，后來(lái)還擔任吉印通技術(shù)委員會(huì )主席。銜遠科技是周伯文離職創(chuàng )業(yè)的第一站。周伯文主管銜遠科技期間，于2022年5月受聘為清華大學(xué)電子工程系長(cháng)聘教授、清華大學(xué)惠妍講席教授。

周伯文在開(kāi)幕式上談及AI治理話(huà)題，他說(shuō)，公眾對AI風(fēng)險的擔憂(yōu)，首先是數據泄露、數據濫用以及版權爭議，其次是惡意使用AI帶來(lái)的深度偽造、虛假信息等使用風(fēng)險，AI還有可能誘發(fā)偏見(jiàn)、歧視等倫理問(wèn)題，并且對就業(yè)市場(chǎng)等帶來(lái)系統性挑戰。

“AI風(fēng)險有的已經(jīng)出現，但更多是潛在防范?！钡懿陌l(fā)現，當前業(yè)界對AI安全的投入遠遠落后于A(yíng)I能力提升，資源投入上，世界上99%的算力用于模型的預訓練，只有不到1%用于A(yíng)I對齊，導致AI的發(fā)展是不均衡的。為確保智能向善，統籌發(fā)展與安全是緊迫任務(wù)。對此，需要找到既能保證AI安全優(yōu)先，但又能實(shí)現AI能力長(cháng)期發(fā)展的技術(shù)體系。

周伯文在世界人工智能大會(huì )開(kāi)幕式上發(fā)表演講

周伯文認為，可信AGI需要滿(mǎn)足“泛對齊”“可干預”和“能反思”三項要求。他說(shuō)，一旦構建起可信AGI，追求AI安全性與卓越性的平衡，“那么AI就能像為人類(lèi)帶來(lái)豐富清潔能源的可控核聚變技術(shù)一樣”。

去年參加南方都市報舉辦的2023世界人工智能大會(huì )“人工智能創(chuàng )新與治理”論壇時(shí)，周伯文指出，可信賴(lài)AI的建構，要貫穿其全生命周期，不僅僅只著(zhù)眼于中間的算法開(kāi)發(fā)階段，而應涵蓋從設計初期的用戶(hù)需求考量到最后的產(chǎn)品交互階段。這一領(lǐng)域由于各方關(guān)注點(diǎn)不同，存在很大的空白區域有待探索，需要學(xué)術(shù)界、工業(yè)界和政府監管部門(mén)的共同努力。

采寫(xiě)：南都見(jiàn)習記者 楊柳