從小樣本學(xué)習到AIGC，創(chuàng )新奇智持續探索AI工業(yè)視覺(jué)落地實(shí)踐
“AI 已經(jīng)來(lái)到從 1.0 邁入 2.0 的拐點(diǎn)。ChatGPT快速普及將進(jìn)一步引爆 AI 2.0 商業(yè)化。 AI 2.0 將是提升 21 世紀整體社會(huì )生產(chǎn)力最為重要的賦能技術(shù)，是絕對不能錯過(guò)的一次革命?！?/p>
數天前，創(chuàng )新工場(chǎng)董事長(cháng)兼CEO、創(chuàng )新奇智董事長(cháng)李開(kāi)復發(fā)表主題為“AI 1.0 到 AI 2.0 的新機遇”演講。他認為 AI 1.0 是以卷積神經(jīng)網(wǎng)絡(luò )（CNN）模型為核心的計算機視覺(jué)技術(shù)，拉開(kāi) AI 感知智能時(shí)代的序幕，但AI 1.0 也遇到了瓶頸，大多數行業(yè)想利用 AI，需要花費巨大的成本來(lái)收集和標注數據。AI 2.0 的巨大躍遷在于克服了 AI 1.0 單領(lǐng)域、多模型的限制，可以用無(wú)需人工標注的超級海量數據去訓練一個(gè)具有跨領(lǐng)域知識的基礎大模型，通過(guò)微調等方式適配和執行五花八門(mén)的任務(wù)，應用于 AIGC 各類(lèi)場(chǎng)景。
創(chuàng )新奇智是誕生于A(yíng)I1.0時(shí)代專(zhuān)注“AI+制造”的企業(yè)級AI產(chǎn)品及解決方案供應商，在工業(yè)視覺(jué)領(lǐng)域研發(fā)了很多突破性技術(shù)，尤其在小樣本學(xué)習領(lǐng)域形成自己的技術(shù)特色。進(jìn)入AI2.0時(shí)代，創(chuàng )新奇智基于小樣本學(xué)習技術(shù)和 AI數據生成技術(shù)，通過(guò)對已有樣本的學(xué)習，源源不斷地產(chǎn)生新樣本，從而大幅提升了工業(yè)領(lǐng)域樣本信息不足情況下模型的精度。
在工業(yè)視覺(jué)領(lǐng)域，訓練樣本不足一直是制約人工智能算法應用的瓶頸之一。一方面，工業(yè)生產(chǎn)是一個(gè)多因素耦和的復雜過(guò)程，生產(chǎn)中的任何異常都會(huì )影響產(chǎn)品質(zhì)量，而且生產(chǎn)過(guò)程的復雜性也將導致產(chǎn)品缺陷種類(lèi)繁多，缺陷的表現形態(tài)也千差萬(wàn)別。另一方面，隨著(zhù)產(chǎn)線(xiàn)自動(dòng)化的提升，生產(chǎn)中出現缺陷品的概率大幅降低，從而導致在工業(yè)視覺(jué)領(lǐng)域，要收集到充足的缺陷樣品非常耗時(shí)。
據創(chuàng )新奇智CTO張發(fā)恩介紹，針對樣本不足問(wèn)題，業(yè)界常用的解決方法有兩類(lèi)，一類(lèi)是研究小樣本學(xué)習算法，通過(guò)從大量可用數據中學(xué)習到的普遍規律，再利用學(xué)習到的數據，使用少量目標場(chǎng)景的數據進(jìn)行學(xué)習，完成到新場(chǎng)景的遷移。另一類(lèi)方法是數據生成，利用算法產(chǎn)生數據來(lái)擴充訓練樣本。創(chuàng )新奇智將基礎算法與行業(yè)場(chǎng)景相結合，進(jìn)行技術(shù)突破和創(chuàng )新，從多個(gè)維度解決工業(yè)視覺(jué)中樣本不足的問(wèn)題。
小樣本學(xué)習，AI工業(yè)視覺(jué)落地的必由之路
海通國際分析師曾指出，小樣本學(xué)習相當符合人類(lèi)的思維推理模式，是實(shí)現類(lèi)人人工智能的必由之路。小樣本學(xué)習算法的性?xún)r(jià)比最優(yōu)，不需要大量數據的標注準備，極大降低了數據標注、算力以及AI 交付的工程化成本，對AI 應用普惠化起到了至關(guān)重要的作用。工業(yè)視覺(jué)檢測是小樣本學(xué)習的典型應用場(chǎng)景。
創(chuàng )新奇智深入小樣本學(xué)習算法的研究，打造涵蓋數據標注、算法應用到跨領(lǐng)域遷移的全系列小樣本學(xué)習算法，建立AI工業(yè)視覺(jué)領(lǐng)域的技術(shù)領(lǐng)先優(yōu)勢。
工業(yè)視覺(jué)領(lǐng)域的數據標注，一般需要比較強的領(lǐng)域知識，標注成本高，周期長(cháng)。標注數據的不足，增加了人工智能模型的訓練難度，延長(cháng)了訓練周期。針對這一問(wèn)題，創(chuàng )新奇智提出基于反標簽學(xué)習的半監督圖像分類(lèi)算法[1]，設計反標簽學(xué)習模塊，通過(guò)給無(wú)標簽圖像數據標注反標簽并進(jìn)行學(xué)習的方式，可以高質(zhì)量地利用無(wú)標簽圖像進(jìn)行學(xué)習，降低了工業(yè)領(lǐng)域人工智能算法應用對標注數據的依賴(lài)，縮短算法研發(fā)周期，節約了算法開(kāi)發(fā)成本。
反標簽學(xué)習流程示意圖
工業(yè)視覺(jué)領(lǐng)域的算法應用，不光訓練樣本少，識別的粒度往往還要求比較細，可謂是巧婦難為無(wú)米之炊。如何在有限的訓練數據中實(shí)現細小且有辨識度的部件級模式，一直是困擾算法工程師的一個(gè)難題。創(chuàng )新奇智提出基于雙注意力機制的少樣本學(xué)習[2]，使用兩個(gè)注意力流分別得到部件級別的關(guān)鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。
基于雙注意力機制的少樣本細粒度圖像識別框架
工業(yè)視覺(jué)面臨的另外一個(gè)問(wèn)題是產(chǎn)品批次更換頻繁。例如汽車(chē)零部件制造、消費電子設備等行業(yè)，產(chǎn)品會(huì )周期性更換批次，更換批次后，都會(huì )導致測試樣本與訓練樣本存在較大的差異，因此如何基于少樣本快速進(jìn)行跨領(lǐng)域遷移也是影響工業(yè)視覺(jué)實(shí)際應用的重要難題。針對這一問(wèn)題，創(chuàng )新奇智提出基于原型的分類(lèi)器學(xué)習方法[3]，通過(guò)從單品示例中獲取每個(gè)物品集合類(lèi)別的原型表示，彌合訓練數據與測試數據間的領(lǐng)域差異。該算法可以應用有批量產(chǎn)品檢測需求的場(chǎng)景，加快檢測算法的適配，提升檢測準確率。
基于原型的分類(lèi)器學(xué)習方法
從小樣本學(xué)習到AIGC，創(chuàng )新奇智打造AInnoGC布局AI2.0時(shí)代
如果說(shuō)小樣本學(xué)習是“刪繁就簡(jiǎn)”，對模型和學(xué)習方式進(jìn)行改進(jìn)，使其適應小樣本訓練；那么樣本生成就是“推陳出新”，通過(guò)已有樣本，學(xué)習生成模型，從而可以源源不斷產(chǎn)生新樣本。
2022年底，OpenAI推出的ChatGPT證明了內容生成（AIGC）的巨大潛力，創(chuàng )新奇智在小樣本學(xué)習的基礎上，進(jìn)一步聚合以往在內容生成領(lǐng)域的研發(fā)成果，將圖像生成與工業(yè)場(chǎng)景的獨特需求相結合，打造面向工業(yè)視覺(jué)的AICG算法。
與一般性的圖像生成主要表現為圖像上較為宏觀(guān)的語(yǔ)義改變不同，工業(yè)視覺(jué)缺陷主要體現為樣本圖像上細微的局部缺陷紋理變化，語(yǔ)義信息低。此外，生成的缺陷紋理不僅要有自然的主觀(guān)視覺(jué)感受，還需要是物理上真實(shí)的，缺陷的形態(tài)要符合樣本本身的物理和光學(xué)特性。傳統的圖像生成算法一般只能做到視覺(jué)真實(shí)，無(wú)法兼顧物理真實(shí)。針對這一問(wèn)題，創(chuàng )新奇智結合將物理模型融入AIGC模型的構建，提出基于光學(xué)成像模擬的光照生成模型和基于雙階段引導的缺陷生成模型，從而可以模擬樣本在不同光照狀態(tài)下的缺陷圖像。
創(chuàng )新奇智的光照生成模型分為兩個(gè)部分：第一部分為分解網(wǎng)絡(luò )，將圖像中的光照信息與表示內容的語(yǔ)義信息相分離，通過(guò)在自研的材質(zhì)光影數據庫吉印通行訓練，我們會(huì )獲得不同材質(zhì)的樣本在不同光照條件下的光照原型。第二部分是重光照網(wǎng)絡(luò )，通過(guò)將對應的光照原型與樣本的語(yǔ)義信息相融合，可以獲得樣本在不同光照條件下的圖像。
基于雙階段引導的缺陷生層模型，分別使用基于專(zhuān)家知識的文本引導生成局部缺陷，而后再以第一階段生成的局部缺陷圖作為引導，將缺陷融合到樣本的指定區域。兩階段缺陷樣本生成模型逐步聚焦局部缺陷樣例和全局圖像融合，可以有效地兼顧工業(yè)視覺(jué)領(lǐng)域缺陷樣本生成的物理真實(shí)和視覺(jué)真實(shí)的要求。
基于A(yíng)InnoGC的缺陷樣本生成框架
結合上述兩個(gè)模型，創(chuàng )新奇智可以生成樣本在不同光照條件下的缺陷圖像，從而可以有效地擴充訓練樣本庫，解決工業(yè)視覺(jué)領(lǐng)域缺陷樣本不足的問(wèn)題，提升工業(yè)預訓練大模型的訓練效果。
基于上述研發(fā)成果，創(chuàng )新奇智研發(fā)面向行業(yè)的AIGC解決方案-AInnoGC。AInnoGC使用模塊化設計，服務(wù)于制造領(lǐng)域的多個(gè)場(chǎng)景，實(shí)現先進(jìn)人工智能基礎設施和多元化業(yè)務(wù)場(chǎng)景的融合拓展，讓AI更好地賦能制造行業(yè)。
附錄： 創(chuàng )新奇智已有算法成果對應論文。
[1] X. S. Wei, H. Y. Xu, F. Zhang, et al., An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning, NeuralIPS, 2022)
[2] S.L. Xu, F. Zhang, X.S. Wei et al. Dual Attention Networks for few-shot fine-grained recognition, AAAI Conference on Artificial Intelligence(AAAI‘22)
[3] Automatic Check-Out via Prototype-based Classifier Learning from Single-Product Exemplars
