近日，數(shù)據(jù)智能應(yīng)用服務(wù)商蜜度發(fā)布了人工智能前沿應(yīng)用成果——跨模態(tài)檢索引擎MiduCMR，實(shí)現(xiàn)從數(shù)據(jù)融合到實(shí)際應(yīng)用的重大突破。

“跨模態(tài)信息檢索”通常指從互聯(lián)網(wǎng)的全媒體多模態(tài)信息中，提取視頻、音頻、圖片、文本內(nèi)容并對(duì)其進(jìn)行單模態(tài)理解和多模態(tài)融合，其難點(diǎn)在于自動(dòng)理解、關(guān)聯(lián)不同模態(tài)數(shù)據(jù)之間的關(guān)鍵要素，并實(shí)現(xiàn)相對(duì)準(zhǔn)確的交叉匹配。

MiduCMR利用跨模態(tài)對(duì)比學(xué)習(xí)、語義融合、語義表征、語義檢索等技術(shù)，實(shí)現(xiàn)了跨模態(tài)視頻打標(biāo)簽、相似視頻檢索、場(chǎng)景識(shí)別等一系列解決方案，為政企與媒體數(shù)字化轉(zhuǎn)型提供場(chǎng)景化的數(shù)據(jù)智能服務(wù)。跨模態(tài)信息檢索與數(shù)字媒體如何產(chǎn)生“化學(xué)反應(yīng)”？

(資料圖片)

善用跨模態(tài)信息檢索 – 全媒體助跑工具

智能媒體時(shí)代，媒體工作者如何應(yīng)對(duì)網(wǎng)絡(luò)中海量的碎片化信息，如何兼顧媒體內(nèi)容生產(chǎn)者與媒體信息傳播者的兩重身份，成為一大挑戰(zhàn)。

MiduCMR跨模態(tài)信息檢索引擎，讓媒體工作者實(shí)現(xiàn)高效信息交互，助力媒體資源整合。

●精準(zhǔn)溯源信息 辨別事件真?zhèn)?/p>

如何快速、準(zhǔn)確地聚焦熱點(diǎn)話題及背景信息，是媒體從業(yè)者跑贏信息發(fā)布速度的一大關(guān)鍵。利用MiduCMR，通過輸入事件畫面的文字描述，幾秒鐘便可以檢索到全網(wǎng)幾百條相關(guān)數(shù)據(jù)，涵蓋文本、圖片、視頻等模態(tài)數(shù)據(jù)以及具體數(shù)據(jù)量，并對(duì)其作出發(fā)布渠道、發(fā)布時(shí)間、發(fā)布地點(diǎn)等標(biāo)記。

媒體工作者不僅能夠通過MiduCMR發(fā)現(xiàn)素材，還能了解到信息短時(shí)傳播范圍、信息發(fā)布主要集中地，甚至追溯信息來源，為了解事件的來龍去脈、驗(yàn)證事件的準(zhǔn)確性及真實(shí)性提供重要依據(jù)。

●搜索海量素材 激發(fā)創(chuàng)作靈感

在媒體內(nèi)容創(chuàng)作過程中，與文字適配的圖像對(duì)于內(nèi)容塑造、提高讀者視覺感受有重要作用。但一些常用的搜索引擎難以完全命中搜索場(chǎng)景的關(guān)鍵元素。例如在“女孩在青青草原中看夕陽西下”場(chǎng)景中包含女孩、草原、夕陽三個(gè)要素。部分常用搜索引擎往往只命中1-2個(gè)要素。而MiduCMR強(qiáng)大的跨模態(tài)信息檢索能力，能夠準(zhǔn)確解析文本、圖片、視頻中的字幕、背景等特征元素，以三大搜索特征優(yōu)勢(shì)打破與搜索引擎之間的“交流障礙”。

一是搜索結(jié)果精度更高。在同樣的搜索詞下，MiduCMR展現(xiàn)的內(nèi)容同時(shí)命中“女孩、草原、夕陽”三個(gè)畫面要素。

二是搜索方式更加廣泛。上傳畫面圖片，即可檢索出類似場(chǎng)景的圖片與視頻，突破以往僅能通過文字搜索的局限，幫助縮小素材搜尋范圍，提升搜索效率。

三是情感識(shí)別度更準(zhǔn)確。MiduCMR能夠根據(jù)文字語義的情緒分析與識(shí)別匹配相應(yīng)的信息。

●傳播效果評(píng)估 作品侵權(quán)洞察

面對(duì)眾多熱點(diǎn)選題及媒體內(nèi)容，如何制定傳播策略？如何選擇媒介？分析與評(píng)估發(fā)布內(nèi)容在各平臺(tái)的傳播效果尤為重要。通過MiduCMR上傳原創(chuàng)圖片或視頻，發(fā)現(xiàn)全網(wǎng)發(fā)布過相似內(nèi)容的平臺(tái)及賬號(hào)，爆款內(nèi)容及引爆平臺(tái)便一目了然。

MiduCMR還可以根據(jù)上傳的原創(chuàng)文本、圖片、音視頻，發(fā)現(xiàn)作品在全網(wǎng)類似應(yīng)用場(chǎng)景，無論是原創(chuàng)圖片被加進(jìn)視頻中，還是視頻文案被復(fù)制粘貼成文章……MiduCMR都能第一時(shí)間檢索到這些“抄襲動(dòng)作”，幫助維護(hù)版權(quán)利益。

當(dāng)前，基于MiduCMR的蜜度索驥已支持約300個(gè)特殊場(chǎng)景的識(shí)別分析，可以有效提高媒體對(duì)文本、圖片、視頻、音頻等多模態(tài)內(nèi)容發(fā)現(xiàn)、評(píng)估、分析的效率，幫助媒體收集素材、辨別新聞事件真?zhèn)巍⒃u(píng)估傳播效果等。

基于MiduCMR的蜜度版權(quán)通已經(jīng)支持全網(wǎng)多場(chǎng)景中的版權(quán)保護(hù)，能夠幫助文本版權(quán)、圖片版權(quán)、視頻版權(quán)的監(jiān)測(cè)、預(yù)警、追蹤與智能取證。

未來，蜜度將基于MiduCMR推出更多的數(shù)據(jù)智能產(chǎn)品和解決方案，為數(shù)字媒體的使用場(chǎng)景助力賦能。

（圖片由蜜度提供）