《多媒體信息檢索》PPT課件.ppt

《《多媒體信息檢索》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《多媒體信息檢索》PPT課件.ppt（39頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

多媒體信息檢索,102131387莊子勻,概念,多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-basedretrieval）?；趦?nèi)容的檢索是對(duì)媒體對(duì)象的內(nèi)容及上下文語(yǔ)義環(huán)境進(jìn)行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場(chǎng)景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等?；趦?nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對(duì)圖像、視頻、音頻內(nèi)容進(jìn)行分析，抽取特征和語(yǔ)義，利用這些內(nèi)容特征建立索引并進(jìn)行檢索。在這一檢索過(guò)程中，它主要以圖像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。,體系結(jié)構(gòu),檢索過(guò)程,分類,,基于文本的檢索,人工建立元數(shù)據(jù)標(biāo)引，本質(zhì)類似于純文本信息檢索普及程度：是現(xiàn)行網(wǎng)絡(luò)檢索系統(tǒng)中的主流方式。檢索方式：信息分類、擴(kuò)展名、關(guān)鍵詞優(yōu)勢(shì)：實(shí)現(xiàn)原理相對(duì)簡(jiǎn)單，技術(shù)成熟劣勢(shì)：具有主觀性，仁者見(jiàn)仁、智者見(jiàn)智；多媒體信息的多維性，人工描述難以窮盡Google圖片搜索、音樂(lè)搜索與視頻搜索，Yahoo音樂(lè)搜索與圖片搜索，YahooVideoSearch，百度mp3、圖片與視頻搜索,普通搜索引擎,搜索圖片、圖像格式：image:文件名功能：檢索含有指定文件名圖像的所有網(wǎng)頁(yè)。搜索多媒體信息格式：media:text功能：檢索文件的名字中含有指定文字的多媒體信息,基于內(nèi)容的信息檢索,Content-BasedRetrieval一種新的檢索技術(shù)，是對(duì)多媒體對(duì)象的內(nèi)容及上下文語(yǔ)義環(huán)境進(jìn)行檢索原理：提取特征并進(jìn)行量化，表示成向量空間，建立索引庫(kù)，將用戶提問(wèn)轉(zhuǎn)化成向量，并與已有信息的向量空間進(jìn)行相似度匹配計(jì)算。常用多媒體文件特征：①圖像：顏色、紋理及時(shí)空關(guān)系等②視頻：對(duì)象運(yùn)動(dòng)特征、顏色和光線變化等③音頻：時(shí)域、頻域、時(shí)頻、短時(shí)幀和音頻特征等普及程度：局限在較小的數(shù)據(jù)集合上，大多只是實(shí)驗(yàn)室研究成果,基于內(nèi)容的圖像檢索,分析圖像的內(nèi)容提取其顏色、形狀、紋理，以及對(duì)象空間關(guān)系等信息建立圖像的特征索引,QBIC,QueryByImageContent,Photobook,http://vismod.media.mit.edu/vismod/demos/photobook/由MIT的媒體實(shí)驗(yàn)室開(kāi)發(fā)研制圖像在存儲(chǔ)時(shí)按人臉、形狀或紋理特性自動(dòng)分類圖像根據(jù)類別通過(guò)顯著語(yǔ)義特征壓縮編碼,VisualSeek,http://www.ctr.columbia.edu/VisualSEEk美國(guó)哥倫比亞大學(xué)開(kāi)發(fā)的圖像查詢系統(tǒng)主要特點(diǎn)是用到了圖像區(qū)域的空間關(guān)系查詢和直接從壓縮數(shù)據(jù)中提取視覺(jué)特征,EXCALIBUR技術(shù)公司開(kāi)發(fā)的retrievalware系統(tǒng),Virage公司開(kāi)發(fā)的virage檢索系統(tǒng),香港公共圖書館的多媒體信息系統(tǒng)（MMIS）,MultimediaInformationSystemhttp://hkclweb.hkpl.gov.hk/hkclr2/internet/eng/html/welcome.htmlIBM和分包商ICO于1999年底開(kāi)始承建190萬(wàn)美元的數(shù)字圖書館項(xiàng)目被認(rèn)為是世界上最大且最復(fù)雜的“中文/英文”雙語(yǔ)圖書館服務(wù)之一采用的DB2Text和ImageExtenders既支持文本查找，也支持圖片查找,相似顏色,相似形狀,相似內(nèi)容,IMEDIA,IMEDIA按照數(shù)據(jù)庫(kù)的內(nèi)容劃分為五個(gè)功能系統(tǒng)。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval,基于內(nèi)容的視頻檢索,通過(guò)對(duì)非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析和處理，采用視頻分割技術(shù)，將連續(xù)的視頻流劃分為具有特定語(yǔ)義的視頻片段——鏡頭，作為檢索的基本單元，在此基礎(chǔ)上進(jìn)行代表幀(representativeframe)的提取和動(dòng)態(tài)特征的提取，形成描述鏡頭的特征索引鏡頭組織和特征索引，采用視頻聚類等方法研究鏡頭之間的關(guān)系，把內(nèi)容相近的鏡頭組合起來(lái)，逐步縮小檢索范圍，直至查詢到所需的視頻數(shù)據(jù)視頻分割、代表幀和動(dòng)態(tài)特征提取是基于內(nèi)容的視頻檢索的關(guān)鍵技術(shù)。,卡內(nèi)基梅隆大學(xué)的informedia數(shù)字視頻圖書館系統(tǒng),CMUInformediaVideoResearchhttp://www.informedia.cs.cmu.edu結(jié)合語(yǔ)音識(shí)別、視頻分析和文本檢索技術(shù)，支持2000小時(shí)的視頻廣播的檢索實(shí)現(xiàn)全內(nèi)容的、基于知識(shí)的查詢和檢索同步元數(shù)據(jù)搜索和導(dǎo)航,天線視頻,,哥倫比亞大學(xué)的VideoQ,,基于內(nèi)容的音頻檢索,從音頻數(shù)據(jù)中提取聽(tīng)覺(jué)特征信息音頻特征分為：聽(tīng)覺(jué)感知特征和聽(tīng)覺(jué)非感知特征(物理特性)聽(tīng)覺(jué)感知特征包括音量、音調(diào)、音強(qiáng)等,IBM的ViaVoice,http://ibm-,劍橋大學(xué)的VMR系統(tǒng),VideoMailRetrievalUsingVoicehttp://mi.eng.cam.ac.uk/research/projects/Video_Mail_Retrieval_Voice音頻處理較出色,美國(guó)Musclefish公司基于內(nèi)容的音頻檢索系統(tǒng),Content-BasedRetrievalofAudio,Thankyou,