《多媒體信息檢索》PPT課件.ppt

多媒體信息檢索,102131387莊子勻,概念,多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-basedretrieval）?；趦?nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響度、音色等?；趦?nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。,體系結(jié)構(gòu),檢索過程,分類,基于文本的檢索,人工建立元數(shù)據(jù)標引，本質(zhì)類似于純文本信息檢索普及程度：是現(xiàn)行網(wǎng)絡(luò)檢索系統(tǒng)中的主流方式。檢索方式：信息分類、擴展名、關(guān)鍵詞優(yōu)勢：實現(xiàn)原理相對簡單，技術(shù)成熟劣勢：具有主觀性，仁者見仁、智者見智；多媒體信息的多維性，人工描述難以窮盡Google圖片搜索、音樂搜索與視頻搜索，Yahoo音樂搜索與圖片搜索，YahooVideoSearch，百度mp3、圖片與視頻搜索,普通搜索引擎,搜索圖片、圖像格式：image:文件名功能：檢索含有指定文件名圖像的所有網(wǎng)頁。搜索多媒體信息格式：media:text功能：檢索文件的名字中含有指定文字的多媒體信息,基于內(nèi)容的信息檢索,Content-BasedRetrieval一種新的檢索技術(shù)，是對多媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索原理：提取特征并進行量化，表示成向量空間，建立索引庫，將用戶提問轉(zhuǎn)化成向量，并與已有信息的向量空間進行相似度匹配計算。常用多媒體文件特征：圖像：顏色、紋理及時空關(guān)系等視頻：對象運動特征、顏色和光線變化等音頻：時域、頻域、時頻、短時幀和音頻特征等普及程度：局限在較小的數(shù)據(jù)集合上，大多只是實驗室研究成果,基于內(nèi)容的圖像檢索,分析圖像的內(nèi)容提取其顏色、形狀、紋理，以及對象空間關(guān)系等信息建立圖像的特征索引,QBIC,QueryByImageContent,Photobook,http:/vismod.media.mit.edu/vismod/demos/photobook/由MIT的媒體實驗室開發(fā)研制圖像在存儲時按人臉、形狀或紋理特性自動分類圖像根據(jù)類別通過顯著語義特征壓縮編碼,VisualSeek,http:/www.ctr.columbia.edu/VisualSEEk美國哥倫比亞大學(xué)開發(fā)的圖像查詢系統(tǒng)主要特點是用到了圖像區(qū)域的空間關(guān)系查詢和直接從壓縮數(shù)據(jù)中提取視覺特征,EXCALIBUR技術(shù)公司開發(fā)的retrievalware系統(tǒng),Virage公司開發(fā)的virage檢索系統(tǒng),香港公共圖書館的多媒體信息系統(tǒng)（MMIS）,MultimediaInformationSystemhttp:/hkclweb.hkpl.gov.hk/hkclr2/internet/eng/html/welcome.htmlIBM和分包商ICO于1999年底開始承建190萬美元的數(shù)字圖書館項目被認為是世界上最大且最復(fù)雜的“中文/英文”雙語圖書館服務(wù)之一采用的DB2Text和ImageExtenders既支持文本查找，也支持圖片查找,相似顏色,相似形狀,相似內(nèi)容,IMEDIA,IMEDIA按照數(shù)據(jù)庫的內(nèi)容劃分為五個功能系統(tǒng)。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval,基于內(nèi)容的視頻檢索,通過對非結(jié)構(gòu)化的視頻數(shù)據(jù)進行結(jié)構(gòu)化分析和處理，采用視頻分割技術(shù)，將連續(xù)的視頻流劃分為具有特定語義的視頻片段鏡頭，作為檢索的基本單元，在此基礎(chǔ)上進行代表幀(representativeframe)的提取和動態(tài)特征的提取，形成描述鏡頭的特征索引鏡頭組織和特征索引，采用視頻聚類等方法研究鏡頭之間的關(guān)系，把內(nèi)容相近的鏡頭組合起來，逐步縮小檢索范圍，直至查詢到所需的視頻數(shù)據(jù)視頻分割、代表幀和動態(tài)特征提取是基于內(nèi)容的視頻檢索的關(guān)鍵技術(shù)。,卡內(nèi)基梅隆大學(xué)的informedia數(shù)字視頻圖書館系統(tǒng),CMUInformediaVideoResearchhttp:/www.informedia.cs.cmu.edu結(jié)合語音識別、視頻分析和文本檢索技術(shù)，支持2000小時的視頻廣播的檢索實現(xiàn)全內(nèi)容的、基于知識的查詢和檢索同步元數(shù)據(jù)搜索和導(dǎo)航,天線視頻,哥倫比亞大學(xué)的VideoQ,基于內(nèi)容的音頻檢索,從音頻數(shù)據(jù)中提取聽覺特征信息音頻特征分為：聽覺感知特征和聽覺非感知特征(物理特性)聽覺感知特征包括音量、音調(diào)、音強等,IBM的ViaVoice,http:/ibm-,劍橋大學(xué)的VMR系統(tǒng),VideoMailRetrievalUsingVoicehttp:/mi.eng.cam.ac.uk/research/projects/Video_Mail_Retrieval_Voice音頻處理較出色,美國Musclefish公司基于內(nèi)容的音頻檢索系統(tǒng),Content-BasedRetrievalofAudio,Thankyou,