閱讀排名更多

企業(yè)直播更多

推薦展會更多

科學島團隊提出一種跨模態(tài)機器視覺人工智能模型實現(xiàn)跨模態(tài)圖像檢索技術

2024-09-12 09:02:10來源：合肥物質(zhì)科學研究院作者：高皖關鍵詞：機器視覺閱讀量：12032

　　【儀器網(wǎng) 科技成果】近日，中國科學院合肥物質(zhì)院智能所先進制造中心王紅強研究員團隊提出一種寬域跨模態(tài)機器視覺AI模型，突破了傳統(tǒng)單域模型跨模態(tài)信息處理瓶頸，實現(xiàn)了跨模態(tài)圖像檢索技術新突破。該研究成果被計算機視覺頂會(歐洲計算機視覺大會，ECCV2024)正式接收。

　　跨模態(tài)機器視覺研究是當前人工智能研究的前沿領域與主要挑戰(zhàn)之一，難點在于如何識別模態(tài)間的一致性和互補性。傳統(tǒng)方法通常在圖水平和特征水平上進行，往往受限于信息粒度過大和圖像資源稀缺等問題。科研團隊發(fā)現(xiàn)，相比圖和特征，細節(jié)關聯(lián)在多數(shù)情況下更好地保持了跨模態(tài)間的不變性。

　　為此，科研團隊提出了一種寬域信息挖掘神經(jīng)網(wǎng)絡(WRIM-Net)，通過構(gòu)建全域交互學習機制實現(xiàn)了在空間域、通道域以及尺度域等多域中的細節(jié)關聯(lián)挖掘，突破了傳統(tǒng)單域模型的局限性。此外，通過設計跨模態(tài)關鍵實例對比學習模塊有效引導了網(wǎng)絡提取模態(tài)關聯(lián)信息。在驗證實驗中，不僅在標準SYSU-MM01和RegDB數(shù)據(jù)集上，還在最新的大規(guī)?？缒B(tài)LLCM數(shù)據(jù)集上證實了所提出模型的有效性，多項關鍵性能指標首次突破90%，比如在SYSU-MM01上R1指標達92.1%，在RegDB上mAP指標達90.5%，接近實際應用水平。該模型可用于視覺追溯與檢索、多模態(tài)大模型、醫(yī)學影像分析、安防監(jiān)控等多個人工智能應用領域。

　　博士生吳勇敢為文章的第一作者，王紅強為通信作者。該研究工作得到了國家自然科學基金項目、中國科學院設備開發(fā)、安徽省重點研究與開發(fā)計劃等科研項目的支持。

　　據(jù)悉，歐洲計算機視覺大會(ECCV)是計算機視覺領域的頂尖國際學術盛會之一，與ICCV和CVPR并列“三大頂會”。自1986年起，ECCV每兩年舉行一次，聚焦計算機視覺的全方位研究，包括圖像與視頻的處理、分析和理解，及其在機器學習、模式識別、機器人、醫(yī)學影像、AR/VR等領域的應用。

跨模態(tài)信息關聯(lián)性與寬域信息挖掘模型原理

上一篇：我國首次研制成功達到環(huán)境空氣碳監(jiān)測高精度要求的標準物質(zhì)

下一篇：北京大學未來技術學院席鵬團隊開發(fā)保真優(yōu)先的熒光顯微鏡反卷積方法

版權(quán)與免責聲明：1.凡本網(wǎng)注明“來源：儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應在授權(quán)范圍內(nèi)使用，并注明“來源：儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關法律責任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點或和對其真實性負責，不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時，必須保留本網(wǎng)注明的作品第一來源，并自負版權(quán)等法律責任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關權(quán)利。

全部評論

昵稱驗證碼匿名

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個字符)

表情

所有評論僅代表網(wǎng)友意見，與本站立場無關

相關新聞更多

西門子通過創(chuàng)新與生態(tài)合作，加速人工智能賦能產(chǎn)業(yè)發(fā)展
西門子正通過與NVIDIA的合作，將工業(yè)元宇宙從愿景變?yōu)楝F(xiàn)實。雙方將西門子的工業(yè)軟件與自動化產(chǎn)品組合，與 NVIDIA 的人工智能與加速計算技術深度融合，助力各行業(yè)提升效率與生產(chǎn)力。

2025-04-07 10:19:38

11589
遼寧國資“擁抱AI”專項行動正式啟動
遼寧國資“擁抱AI”專項行動啟動儀式由遼寧省國資委、省科技廳、省數(shù)據(jù)局聯(lián)合舉辦，帶頭利用人工智能賦能傳統(tǒng)產(chǎn)業(yè)，加快構(gòu)建數(shù)據(jù)驅(qū)動、人機協(xié)同、跨界融合、共創(chuàng)分享的智能經(jīng)濟形態(tài)。

2025-04-07 10:17:45

12792
和利時XMagital工業(yè)智能體之AI智能視覺 DeepSeek：工業(yè)安全守護者
和利時于2025年2月28日推出XMagital新一代智能制造系統(tǒng)架構(gòu)后，成功接入DeepSeek, 并本著用戶的切身痛點結(jié)合AI技術進行深入研究。

2025-03-14 10:32:17

18964
《廣西“人工智能＋制造”行動方案（2025-2027年）》印發(fā)
今后3年，廣西將以創(chuàng)新為動力，以場景為牽引，以發(fā)展人工智能產(chǎn)品、提升人工智能服務實體經(jīng)濟為重點，重點實施六大行動，推動人工智能賦能新型工業(yè)化，培育壯大新質(zhì)生產(chǎn)力。

2025-03-14 10:24:02

18093
中國AI人才缺口達500萬人！人工智能專業(yè)在校生僅約4萬人
專家表示，2024年，人工智能整個專業(yè)的在校生大概是4萬多人，跟整個人工智能領域的人才缺口500萬人相比，差距依然很大。

2025-03-07 10:29:37

16415
工業(yè)和信息化部人工智能標準化技術委員會開展第一批工作組成員單位征集工作
本著開放合作、廣泛參與的原則，工業(yè)和信息化部人工智能標準化技術委員會現(xiàn)面向社會公開征集第一批工作組成員單位。調(diào)研人工智能標準現(xiàn)狀與發(fā)展趨勢，開展基礎共性類、關鍵基礎技術類、產(chǎn)品服務類、賦能應用類、安全治理類相關標準制修訂，推動標準宣傳推廣及應用實施。

2025-03-07 10:24:39

16571