2024世界人工智能大會(huì )AI上新：百靈大模型發(fā)布最新成果、“蟻天鑒”2.0版上線(xiàn)
“具備能‘看’會(huì )‘聽(tīng)’、能‘說(shuō)’會(huì )‘畫(huà)’的原生多模態(tài)能力，可以直接理解并訓練音頻、視頻、圖、文等多模態(tài)數據?！痹诮衲甑氖澜缛斯ぶ悄艽髸?huì )WAIC上，作為AI的核心驅動(dòng)力的大模型無(wú)疑是參展企業(yè)的參展亮點(diǎn)。各大科技巨頭們紛紛亮出自家的最新大模型成果，并集中展示一批“人工智能+”創(chuàng )新應用。
“多更模態(tài)能力讓AI像人”
在今天舉行“可信大模型助力產(chǎn)業(yè)創(chuàng )新發(fā)展”論壇上，螞蟻集團公布了其自研的百靈大模型最新研發(fā)進(jìn)展。記者從大會(huì )現場(chǎng)的演示看到，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動(dòng)，支撐智能體驗升級，百靈的多模態(tài)能力已應用于“支付寶智能助理”上，未來(lái)還將支持支付寶上更多智能體升級。
據了解，百靈大模型多模態(tài)能力，在中文圖文理解MMBench-CN評測集上達到GPT-4o水平，在信通院多模態(tài)安全能力評測達到優(yōu)秀級（最高），具備支持規?；瘧玫哪芰?，能支持AIGC、圖文對話(huà)、視頻理解、數字人等一系列下游任務(wù)。
多模態(tài)大模型技術(shù)能夠使AI更好地理解人類(lèi)世界的復雜信息，也讓AI落地應用時(shí)更符合人類(lèi)的交互習慣，在智能客服、自動(dòng)駕駛、醫療診斷等多個(gè)領(lǐng)域展現出巨大的應用潛力。
發(fā)布現場(chǎng)，螞蟻集團副總裁徐鵬展示了新升級的多模態(tài)技術(shù)可實(shí)現的更多應用場(chǎng)景：通過(guò)視頻對話(huà)的自然形式，AI助理能為用戶(hù)識別穿著(zhù)打扮，給出約會(huì )的搭配建議；根據用戶(hù)不同的意圖，從一堆食材中搭配出不同的菜譜組合；根據用戶(hù)描述的身體癥狀，從一批藥物中，挑選出可能合適的藥，并讀出服用指導，供用戶(hù)參考等。
基于百靈大模型多模態(tài)能力，螞蟻已在探索規模應用落地產(chǎn)業(yè)的實(shí)踐。論壇上同時(shí)發(fā)布的“支付寶多模態(tài)醫療大模型”，便是這一探索的實(shí)踐。據了解，支付寶多模態(tài)醫療大模型添加了包含報告、影像、藥品等多模態(tài)信息在內的百億級中英文圖文、千億級醫療文本語(yǔ)料，以及千萬(wàn)級高質(zhì)量醫療知識圖譜，具備專(zhuān)業(yè)醫學(xué)知識，在中文醫療LLM評測榜單promptCBLUE上，取得A榜第一，B榜第二的成績(jì)。
“從單一的文本語(yǔ)義理解，到多模態(tài)能力，是人工智能技術(shù)的關(guān)鍵迭代，而多模態(tài)技術(shù)催生的‘看聽(tīng)說(shuō)寫(xiě)畫(huà)’的應用場(chǎng)景，將讓AI的表現更真實(shí)，更接近人類(lèi)，從而也能更好地服務(wù)人類(lèi)?！毙禊i說(shuō)。
深度偽造檢測，“蟻天鑒”2.0版上線(xiàn)
不過(guò)“AI更像人”也會(huì )帶來(lái)安全漏洞和深度生成內容濫用等新的挑戰。為此，今年的人工智能大會(huì )上，螞蟻集團還吉印通清華大學(xué)發(fā)布大模型安全一體化解決方案“蟻天鑒”2.0版，確保大模型技術(shù)在安全可靠的環(huán)境中發(fā)揮效能。
蟻天鑒2.0防御端新增“AI鑒真”功能。支持多模態(tài)內容真實(shí)性及深度偽造檢測，可快速精準鑒別圖像、視頻、音頻、文本內容的真偽，圖像識別準確率99.9%達到行業(yè)最高優(yōu)秀級（信通院測評）。目前，蟻天鑒2.0依托生成模型自建百萬(wàn)量級音視圖多模態(tài)合成數據集，覆蓋主流生成方案，有效應對AI換臉、聲音模擬、證件偽造等各類(lèi)深度偽造風(fēng)險場(chǎng)景。
據了解，蟻天鑒2.0有兩大特色，一是在測評端研發(fā)了業(yè)內首個(gè)“測評智能體”。該測評智能體提供全流程自動(dòng)化的安全測評工具，支持各種形式模型和深度學(xué)習框架，可擴展測評垂類(lèi)大模型、多模態(tài)大模型及Agent智能體，并能根據被測大模型的安全水位動(dòng)態(tài)調整攻擊策略和出具測試用例，保障測評效果和效率。目前，蟻天鑒2.0有超300萬(wàn)高質(zhì)量測評題庫，支持最高50萬(wàn)/日的飽和式攻擊和逐級誘導深度攻擊，并實(shí)現了1工作日內完成測評，全流程自動(dòng)化率＞99%。
與此同時(shí)，該智能體也增加了兩項新功能。一是“大模型X-ray”。即大模型X光，可針對大模型的內在神經(jīng)元進(jìn)行X光掃描來(lái)做探查和判斷，讓研究人員了解大模型內部在發(fā)生什么、定位可能引發(fā)風(fēng)險的神經(jīng)元、并進(jìn)行編輯修正，從而在模型內部治理幻覺(jué)，實(shí)現從源頭識別和抑制風(fēng)險。
二是“大模型基礎設施測評”。此前蟻天鑒的測評能力主要集中于大模型生成的內容安全、合規風(fēng)險等檢測。蟻天鑒2.0從攻擊者全鏈路視角出發(fā)，深入掃描模型算法組件及軟件系統，可及時(shí)準確發(fā)現大模型供應鏈及運行環(huán)境安全問(wèn)題，保障云到端的應用安全可控。
目前，蟻天鑒的檢測與防御產(chǎn)品已開(kāi)放給20家外部機構和企業(yè)使用，為通用大模型及醫療、金融、政務(wù)等垂直領(lǐng)域行業(yè)大模型應用安全保駕護航。
此外，2024WAIC 現場(chǎng)還發(fā)布了由清華大學(xué)、中關(guān)村實(shí)驗室、中國信通院、螞蟻集團吉印通編制的《大模型安全實(shí)踐白皮書(shū)（2024）》。這也是國內首份“大模型安全實(shí)踐”研究報告，為行業(yè)打造高價(jià)值參考體系。
