6月27日，蜜度發(fā)布了人工智能前沿應用成果——跨模態(tài)檢索引擎MiduCMR，在多模態(tài)信息檢索領(lǐng)域取得重大突破?；贛iduCMR，蜜度索驥推出跨模態(tài)檢索功能，實現(xiàn)視頻、音頻、圖片、文本等不同模態(tài)信息在統(tǒng)一語義空間中的跨模態(tài)檢索；蜜度版權(quán)通推出文本、圖片、視頻的版權(quán)保護與監(jiān)測功能，實現(xiàn)多模態(tài)信息融合的一站式知識產(chǎn)權(quán)保護。目前，蜜度索驥、蜜度版權(quán)通產(chǎn)品可在蜜度官網(wǎng)中進行體驗。

數(shù)字時代，數(shù)據(jù)智能已成為輔助決策的重要手段之一，社交媒體內(nèi)容數(shù)據(jù)在社會治理、企業(yè)營銷、媒體變革中發(fā)揮著重要作用。隨著視頻技術(shù)、網(wǎng)絡技術(shù)、5G的發(fā)展，互聯(lián)網(wǎng)信息正在從文字、圖像向圖片、音頻、視頻相互融合的多模態(tài)內(nèi)容轉(zhuǎn)變。但視頻、音頻、圖片、文本信息搜索之間存在一定的壁壘，這些形態(tài)豐富、來源多樣、數(shù)量巨大的多模態(tài)內(nèi)容數(shù)據(jù)難以得到有效的分析和應用。例如視頻、短視頻通常是文字、圖像、音頻等多種形態(tài)的組合，而常用的內(nèi)容提取和分析方法主要針對文字、圖像的單個模態(tài)進行，難以在多類模態(tài)之間實現(xiàn)“跨越”。同時音視頻在傳播過程中容易產(chǎn)生裁剪、編輯等二次創(chuàng)作的情況，內(nèi)容較為復雜，基于文本關(guān)鍵詞的檢索方法也存在信息發(fā)現(xiàn)不全面、侵權(quán)線索不容易發(fā)現(xiàn)、信息難以合并、追溯難度大等問題。

面對數(shù)字時代的新需求，上海蜜度信息技術(shù)有限公司自主研發(fā)推出跨模態(tài)檢索引擎MiduCMR，為視頻、音頻、圖片、文本等多模態(tài)內(nèi)容的檢索、分析、應用提供解決方案，幫助政企、媒體及創(chuàng)作者更好地面對全媒體多模態(tài)信息傳播的新挑戰(zhàn)。

跨越語義鴻溝多模態(tài)信息一鍵檢索

MiduCMR突破傳統(tǒng)的單一模態(tài)的信息檢索方式，實現(xiàn)了跨模態(tài)信息的一鍵檢索。引擎從微博、論壇、App、短視頻等來源的多模態(tài)信息中，提取視頻、音頻、圖片、文本內(nèi)容并對其進行單模態(tài)理解和多模態(tài)融合，將海量全媒體信息映射到統(tǒng)一語義空間，跨越不同模態(tài)內(nèi)容間的語義鴻溝，自動理解、關(guān)聯(lián)多模態(tài)間的關(guān)鍵要素。

基于強大的跨模態(tài)檢索能力，MiduCMR實現(xiàn)了以文本搜圖片，以文本搜音視頻，以圖片搜文本，以圖片搜圖片，以圖片搜視頻，以音頻搜文本，以音頻搜視頻等跨模態(tài)信息檢索功能，快速呈現(xiàn)所需的多模態(tài)信息；并能夠智能識別圖片中的文字內(nèi)容，準確解析視頻中的字幕、背景、封面等特征元素，為深度數(shù)據(jù)分析提供基礎(chǔ)。

多樣化識別分析應用場景豐富

在跨模態(tài)檢索的應用方向上，MiduCMR能為政企、媒體提供多樣化的支持。目前，MiduCMR利用跨模態(tài)對比學習、語義融合、語義表征、語義檢索等技術(shù)，實現(xiàn)了跨模態(tài)視頻打標簽、相似視頻檢索、場景識別等一系列解決方案。

針對政務應用場景，基于MiduCMR的蜜度索驥已支持約300個特殊場景的識別分析，有效提高政企、媒體等單位對視頻等多模態(tài)內(nèi)容發(fā)現(xiàn)、分析的準確度及應急反應速度，幫助用戶及時發(fā)現(xiàn)公眾需求、了解情緒變化、聆聽建議心聲、關(guān)注輿論動向、捕捉判別謠言，保護知識產(chǎn)權(quán)、打擊假冒偽劣，為政府宣傳、公安網(wǎng)安、社會治理、互聯(lián)網(wǎng)內(nèi)容安全的數(shù)字化升級工作提供支持。

針對知識產(chǎn)權(quán)應用場景，基于MiduCMR的蜜度版權(quán)通已經(jīng)支持全網(wǎng)多場景中的版權(quán)保護，幫助企業(yè)、媒體、個人、律所、MCN機構(gòu)、影視創(chuàng)作機構(gòu)進行文本版權(quán)、圖片版權(quán)、視頻版權(quán)的監(jiān)測、預警、追蹤與智能取證。同時，蜜度版權(quán)通能夠?qū)ι虡饲謾?quán)、產(chǎn)品設(shè)計與包裝侵權(quán)、外觀設(shè)計專利侵權(quán)等行為進行監(jiān)測、預警、追蹤與智能取證。

據(jù)悉，蜜度將基于MiduCMR推出更多的跨模態(tài)檢索產(chǎn)品，以人工智能技術(shù)的應用突破，在公安、消防、教育、醫(yī)療、民生以及內(nèi)容監(jiān)管、品牌洞察、知識產(chǎn)權(quán)保護等領(lǐng)域提供豐富的數(shù)據(jù)智能應用與解決方案，為數(shù)字政府、數(shù)字營銷、數(shù)字媒體、數(shù)字城市等場景助力賦能。