模式識(shí)別基本詞匯名詞解釋.ppt

模式識(shí)別基本詞匯 基本詞匯 樣本 對(duì)任一個(gè)具體的事物 在這門課中都稱為一個(gè)樣本 它是一類事物的一個(gè)具體體現(xiàn) 它與模式這個(gè)概念聯(lián)用 則模式表示一類事物的統(tǒng)稱 而樣本則是該類事物的一個(gè)具體體現(xiàn) 模式 英語(yǔ)是pattern 表示一類事物 廣義地說(shuō) 模式是一些供模仿用的 完美無(wú)缺的標(biāo)本 本課程把所見到的具體事物稱為模式 基本詞匯 模式類 這個(gè)詞與模式聯(lián)合使用 此時(shí)模式表示具體的事物 而模式類則是對(duì)這一類事物的概念性描述 將模式歸屬的類別稱為模式類 模式識(shí)別 是研究用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人類模式識(shí)別能力的一門學(xué)科 是讓計(jì)算機(jī)實(shí)現(xiàn)事物的分類 基本詞匯 分類器 用來(lái)識(shí)別具體事物的類別的系統(tǒng)稱為分類器 模式識(shí)別系統(tǒng) 用來(lái)實(shí)現(xiàn)對(duì)所見事物 樣本 確定其類別的系統(tǒng) 也稱為分類器 基本詞匯 特征 一個(gè)事件 樣本 有若干屬性稱為特征 對(duì)屬性要進(jìn)行度量 一般有兩種方法 一種是定量的 一種是定性表示 在本門課中一般偏重定量的表示 特征向量 對(duì)一個(gè)具體事物 樣本 往往可用其多個(gè)屬性來(lái)描述 將這些特征有序地排列起來(lái) 就成為一個(gè)向量 這種向量就稱為特征向量 每個(gè)屬性稱為它的一個(gè)分量 或一個(gè)元素 基本詞匯 維數(shù) 一個(gè)向量具有的分量數(shù)目 列向量 將一個(gè)向量的分量排列成一列表示 行向量 將一個(gè)向量的分量排列成一行表示 基本詞匯 轉(zhuǎn)置 將一個(gè)列向量寫成行向量的形式的方法就是轉(zhuǎn)置 如定義X為列向量 則XT就是該向量的行向量表示 轉(zhuǎn)置的概念與矩陣中轉(zhuǎn)置的概念一樣 特征空間 一種事物的每個(gè)屬性值都是在一定范圍內(nèi)變化 所討論問(wèn)題的特征向量可能取值范圍的全體就是特征空間 基本詞匯 分類決策 根據(jù)一個(gè)事物 樣本 的屬性確定其類別 稱為分類決策 分類決策方法 對(duì)一事物進(jìn)行分類決策所用的具體方法 基本詞匯 學(xué)習(xí) 讓一個(gè)機(jī)器有分類決策能力 就需要找到具體的分類決策方法 確定分類決策方法的過(guò)程統(tǒng)稱為學(xué)習(xí) 就像人認(rèn)識(shí)事物的本領(lǐng)的獲取與提高都是通過(guò)學(xué)習(xí)得到的 在本門課中將學(xué)習(xí)分成有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)兩種不同的方法 基本詞匯 訓(xùn)練 一般將有監(jiān)督學(xué)習(xí)的學(xué)習(xí)方法稱之為訓(xùn)練 訓(xùn)練 樣本 集 在訓(xùn)練過(guò)程中使用的樣本集 該樣本集中的每個(gè)樣本的類別已知 基本詞匯 有監(jiān)督學(xué)習(xí)方法 從不同類的訓(xùn)練集數(shù)據(jù)中體現(xiàn)出的規(guī)律性進(jìn)行分析 從而確定分類決策方法 這種學(xué)習(xí)方法是在訓(xùn)練集指導(dǎo)下進(jìn)行的 就像有教師來(lái)指導(dǎo)學(xué)習(xí)一樣 稱為有監(jiān)督學(xué)習(xí)方法 與之相對(duì)的是無(wú)監(jiān)督學(xué)習(xí)方法 基本詞匯 無(wú)監(jiān)督學(xué)習(xí)方法 在一組數(shù)據(jù)集中尋找其規(guī)律性的過(guò)程稱為無(wú)監(jiān)督學(xué)習(xí)方法 例如分析數(shù)據(jù)集中的自然劃分 聚類 分析數(shù)據(jù)集體現(xiàn)的規(guī)律性 并用某種數(shù)學(xué)形式表示 數(shù)據(jù)似合 分析數(shù)據(jù)集中各種分量 描述量 特征 之間的相關(guān)性 數(shù)據(jù)挖掘 知識(shí)獲取 等 這種學(xué)習(xí)沒(méi)有訓(xùn)練樣本集作指導(dǎo) 這是與有監(jiān)督學(xué)習(xí)方法的不同點(diǎn) 基本詞匯 先驗(yàn)概率 預(yù)先已知的或者可以估計(jì)的模式識(shí)別系統(tǒng)位于某種類型的概率 類條件概率密度函數(shù) 系統(tǒng)位于某種類型條件下模式樣本X出現(xiàn)的概率密度分布函數(shù) 后驗(yàn)概率 系統(tǒng)在某個(gè)具體的模式樣本X條件下位于某種類型的概率 貝葉斯公式 兩個(gè)事物X與w聯(lián)合出現(xiàn)的概率稱為聯(lián)合概率 利用該公式可以計(jì)算后驗(yàn)概率 基本詞匯 貝葉斯決策理論 根據(jù)先驗(yàn)概率 類概率分布密度函數(shù)以及后驗(yàn)概率這些量來(lái)實(shí)現(xiàn)分類決策的方法 稱為貝葉斯決策理論 由于這些量之間符合貝葉斯公式 因此稱為貝葉斯決策理論 基于最小錯(cuò)誤率的貝葉斯決策 根據(jù)一個(gè)事物后驗(yàn)概率最大作為分類依據(jù)的決策 稱為基于最小錯(cuò)誤率的貝葉斯決策 從統(tǒng)計(jì)上講 即從平均錯(cuò)誤率角度看 分類錯(cuò)誤率為最小 因此稱為基于最小錯(cuò)誤率的貝葉斯決策 基本詞匯 風(fēng)險(xiǎn)決策 對(duì)事物進(jìn)行分類或做某種決策 都有可能產(chǎn)生錯(cuò)誤 不同性質(zhì)的錯(cuò)誤就會(huì)帶來(lái)各種不同程度的損失 因而作決策是有風(fēng)險(xiǎn)的 考慮到?jīng)Q策后果 風(fēng)險(xiǎn) 的決策是風(fēng)險(xiǎn)決策 基于最小風(fēng)險(xiǎn)的貝葉斯決策 如果樣本X的實(shí)際類別為 1 而作決策為 2 則可以定義此時(shí)作 2決策的風(fēng)險(xiǎn)為 2 1 由此可以確定對(duì)樣本X做 2決策的期望損失 比較做不同決策的期望損失 選擇期望損失最小的決策后最終決策 就是基于最小風(fēng)險(xiǎn)的貝葉斯決策 基本詞匯 判別函數(shù) 是一組與各類別有關(guān)的函數(shù) 對(duì)每一個(gè)樣本可以計(jì)算出這組函數(shù)的所有函數(shù)值 然后依據(jù)這些函數(shù)值的極值 最大或最小 做分類決策 決策域與決策面 根據(jù)判別函數(shù)組中哪一個(gè)判別函數(shù)值為極值為準(zhǔn)則可將特征空間劃分成不同的區(qū)域 稱為決策域 相鄰決策域的邊界是決策分界面或稱決策面 基本詞匯 參數(shù)估計(jì) 使用貝葉斯決策要知道先驗(yàn)概率 類分布密度函數(shù)等統(tǒng)計(jì)參數(shù) 為此 要從訓(xùn)練樣本集中估計(jì)出這些統(tǒng)計(jì)參數(shù) 這就是參數(shù)估計(jì) 非參數(shù)估計(jì) 在分布密度函數(shù)形式也不確定條件下 估計(jì)統(tǒng)計(jì)參數(shù) 稱為非參數(shù)估計(jì) 非參數(shù)分類器 不以統(tǒng)計(jì)參數(shù)為分類決策依據(jù)的分類決策方法稱為非參數(shù)分類器 線性分類器 非線性分類器以及近鄰分類器都屬于這種分類器 它們不需要統(tǒng)計(jì)參數(shù) 基本詞匯 線性分類器 判別函數(shù)為線性函數(shù)的分類器是線性分類器 此時(shí)決策分界面的方程是線性方程 非線性分類器 是非參數(shù)分類器的一種 其中判別函數(shù)或決策面方程是某種特定的非線性函數(shù) 如二次函數(shù) 多項(xiàng)式函數(shù)等 分段線性分類器 相鄰決策域的界面用分段線性函數(shù)表示的分類器 基本詞匯 感知準(zhǔn)則函數(shù) 是線性分類器的另一種著名設(shè)計(jì)方法 該種方法通過(guò)迭代優(yōu)化確定最佳分界面 其特點(diǎn)是利用錯(cuò)分類信息對(duì)當(dāng)前的分界面進(jìn)行修正 感知器 使用感知準(zhǔn)則函數(shù)設(shè)計(jì)的分類器稱為感知器 它是人工神經(jīng)網(wǎng)絡(luò)中最簡(jiǎn)單的一種 是人工神經(jīng)網(wǎng)絡(luò)前期研究的成果 基本詞匯 Fisher準(zhǔn)則判別函數(shù) 線性分類器中的一種分類決策面設(shè)計(jì)方法 是由Fisher提出而得名 一般用于兩類別分類器中 該種設(shè)計(jì)方法要找到分界面的最佳法線 使兩類別訓(xùn)練樣本到該法線向量的投影體現(xiàn) 類間盡可能分離 類內(nèi)盡可能密集 的最佳準(zhǔn)則