模式識(shí)別練習(xí)題.doc

2013模式識(shí)別練習(xí)題一. 填空題 1、模式識(shí)別系統(tǒng)的基本構(gòu)成單元包括： 模式采集 、 特征選擇與提取 和 模式分類 。2、統(tǒng)計(jì)模式識(shí)別中描述模式的方法一般使用 特征矢量 ；句法模式識(shí)別中模式描述方法一般有 串 、 樹 、 網(wǎng) 。 3、影響層次聚類算法結(jié)果的主要因素有 計(jì)算模式距離的測(cè)度、聚類準(zhǔn)則、類間距離閾值、預(yù)定的類別數(shù)目。4、線性判別函數(shù)的正負(fù)和數(shù)值大小的幾何意義是 正（負(fù)）表示樣本點(diǎn)位于判別界面法向量指向的正（負(fù)）半空間中；絕對(duì)值正比于樣本點(diǎn)到判別界面的距離。5、感知器算法 1 ，H-K算法 （2） 。 （1）只適用于線性可分的情況；（2）線性可分、不可分都適用。6、在統(tǒng)計(jì)模式分類問題中，聶曼-皮爾遜判決準(zhǔn)則主要用于 某一種判決錯(cuò)誤較另一種判決錯(cuò)誤更為重要 情況；最小最大判別準(zhǔn)則主要用于 先驗(yàn)概率未知的 情況。7、“特征個(gè)數(shù)越多越有利于分類”這種說法正確嗎？ 錯(cuò)誤 。特征選擇的主要目的是 從n個(gè)特征中選出最有利于分類的的m個(gè)特征（m<n），以降低特征維數(shù)。一般在 可分性判據(jù)對(duì)特征個(gè)數(shù)具有單調(diào)性 和（ Cnm>>n ）的條件下，可以使用分支定界法以減少計(jì)算量。8、 散度Jij越大，說明wi類模式與wj類模式的分布 差別越大 ；當(dāng)wi類模式與wj類模式的分布相同時(shí)，Jij= 0 。二、選擇題1、影響聚類算法結(jié)果的主要因素有（ B C D ）。A.已知類別的樣本質(zhì)量；B.分類準(zhǔn)則；C.特征選?。籇.模式相似性測(cè)度2、模式識(shí)別中，馬式距離較之于歐式距離的優(yōu)點(diǎn)是（ C D ）。 A.平移不變性；B.旋轉(zhuǎn)不變性；C尺度不變性；D.考慮了模式的分布3、影響基本K-均值算法的主要因素有（ D A B ）。A.樣本輸入順序；B.模式相似性測(cè)度；C.聚類準(zhǔn)則；D.初始類中心的選取4、位勢(shì)函數(shù)法的積累勢(shì)函數(shù)K(x)的作用相當(dāng)于Bayes判決中的（ B D ）。A. 先驗(yàn)概率；B. 后驗(yàn)概率；C. 類概率密度；D. 類概率密度與先驗(yàn)概率的乘積5、在統(tǒng)計(jì)模式分類問題中，當(dāng)先驗(yàn)概率未知時(shí)，可以使用（B D ）。A. 最小損失準(zhǔn)則； B. 最小最大損失準(zhǔn)則； C. 最小誤判概率準(zhǔn)則； D. N-P判決6、散度JD是根據(jù)（ C ）構(gòu)造的可分性判據(jù)。A. 先驗(yàn)概率；B. 后驗(yàn)概率；C. 類概率密度；D. 信息熵；E. 幾何距離7、似然函數(shù)的概型已知且為單峰，則可用（ A B C D E）估計(jì)該似然函數(shù)。A. 矩估計(jì)；B. 最大似然估計(jì)；C. Bayes估計(jì)；D. Bayes學(xué)習(xí)；E. Parzen窗法8、KN近鄰元法較之Parzen窗法的優(yōu)點(diǎn)是（ B ）。A. 所需樣本數(shù)較少； B. 穩(wěn)定性較好； C. 分辨率較高； D. 連續(xù)性較好9、從分類的角度講，用DKLT做特征提取主要利用了DKLT的性質(zhì)：（ A C ）。A.變換產(chǎn)生的新分量正交或不相關(guān)；B.以部分新的分量表示原矢量均方誤差最?。籆.使變換后的矢量能量更集中10、如果以特征向量的相關(guān)系數(shù)作為模式相似性測(cè)度，則影響聚類算法結(jié)果的主要因素有（ B C ）。A. 已知類別樣本質(zhì)量； B. 分類準(zhǔn)則； C. 特征選??；D. 量綱11、歐式距離具有（ A B ）；馬式距離具有（ A B C D ）。 A. 平移不變性； B. 旋轉(zhuǎn)不變性； C. 尺度縮放不變性； D. 不受量綱影響的特性12、聚類分析算法屬于（ A ）；判別域代數(shù)界面方程法屬于（ C ） 。 A.無監(jiān)督分類； B.有監(jiān)督分類； C.統(tǒng)計(jì)模式識(shí)別方法； D.句法模式識(shí)別方法13、若描述模式的特征量為0-1二值特征量，則一般采用（ D ）進(jìn)行相似性度量。A. 距離測(cè)度； B. 模糊測(cè)度； C. 相似測(cè)度； D. 匹配測(cè)度14、 下列函數(shù)可以作為聚類分析中的準(zhǔn)則函數(shù)的有（ A C D ） 。 A.； B.； C. ； D.15、Fisher線性判別函數(shù)的求解過程是將N維特征矢量投影在（ B ）中進(jìn)行 。 A.二維空間； B.一維空間； C. N-1維空間16、用parzen窗法估計(jì)類概率密度函數(shù)時(shí)，窗寬過窄導(dǎo)致波動(dòng)過大的原因是（ B、C ）。A.窗函數(shù)幅度過小；B.窗函數(shù)幅度過大；C. 窗口中落入的樣本數(shù)過少；D.窗口中落入的樣本數(shù)過多。17、如下聚類算法中，屬于靜態(tài)聚類算法的是 ( A、B )。A. 最大最小距離聚類；B. 層次聚類； C. c-均值聚類。18、 一般，k-NN最近鄰方法在（ B ）的情況下效果較好。A.樣本較多但典型性不好；B.樣本較少但典型性好；C.樣本呈團(tuán)狀分布；D.樣本呈鏈狀分布19、影響c均值聚類算法效果的主要因素之一是初始類心的選取，相比較而言，（ C ）c個(gè)樣本作為初始類心較好。A. 按輸入順序選前； B. 選相距最遠(yuǎn)的； C. 選分布密度最高處的； D. 隨機(jī)挑選。20、類域界面方程法中，能求線性不可分情況下分類問題近似或精確解的方法是（ B、C、D ）。A. 感知器算法； B. 偽逆法； C. 基于二次準(zhǔn)則的H-K算法； D. 勢(shì)函數(shù)法。三、簡答題1、試說明Mahalanobis距離平方的定義，到某點(diǎn)的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。答：Mahalanobis距離的平方定義為： 其中x，u為兩個(gè)數(shù)據(jù)，是一個(gè)正定對(duì)稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點(diǎn)的Mahalanobis距離相等點(diǎn)的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。2、試說明用監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)兩種方法對(duì)道路圖像中道路區(qū)域的劃分的基本做法，以說明這兩種學(xué)習(xí)方法的定義與它們間的區(qū)別。答：監(jiān)督學(xué)習(xí)方法用來對(duì)數(shù)據(jù)實(shí)現(xiàn)分類，分類規(guī)則通過訓(xùn)練獲得。該訓(xùn)練集由帶分類號(hào)的數(shù)據(jù)集組成，因此監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是離線的。 非監(jiān)督學(xué)習(xí)方法不需要單獨(dú)的離線訓(xùn)練過程，也沒有帶分類號(hào)（標(biāo)號(hào)）的訓(xùn)練數(shù)據(jù)集，一般用來對(duì)數(shù)據(jù)集進(jìn)行分析，如聚類，確定其分布的主分量等。 就道路圖像的分割而言，監(jiān)督學(xué)習(xí)方法則先在訓(xùn)練用圖像中獲取道路象素與非道路象素集，進(jìn)行分類器設(shè)計(jì)，然后用所設(shè)計(jì)的分類器對(duì)道路圖像進(jìn)行分割。 使用非監(jiān)督學(xué)習(xí)方法，則依據(jù)道路路面象素與非道路象素之間的聚類分析進(jìn)行聚類運(yùn)算，以實(shí)現(xiàn)道路圖像的分割。3、已知一組數(shù)據(jù)的協(xié)方差矩陣為，試問(1) 協(xié)方差矩陣中各元素的含義。(2) 求該數(shù)組的兩個(gè)主分量。(3) 主分量分析或稱K-L變換，它的最佳準(zhǔn)則是什么？(4) 為什么說經(jīng)主分量分析后，消除了各分量之間的相關(guān)性。答：協(xié)方差矩陣為，則(1) 對(duì)角元素是各分量的方差，非對(duì)角元素是各分量之間的協(xié)方差。(2) 主分量，通過求協(xié)方差矩陣的特征值，用0得，則 ，相應(yīng)地：，對(duì)應(yīng)特征向量為，對(duì)應(yīng)。這兩個(gè)特征向量，即為主分量。(3) K-L變換的最佳準(zhǔn)則為：對(duì)一組數(shù)據(jù)進(jìn)行按一組正交基分解，在只取相同數(shù)量分量的條件下，以均方誤差計(jì)算截尾誤差最小。(4) 在經(jīng)主分量分解后，協(xié)方差矩陣成為對(duì)角矩陣，因而各主分量間相關(guān)性消除。4、試說明以下問題求解是基于監(jiān)督學(xué)習(xí)或是非監(jiān)督學(xué)習(xí)：(1) 求數(shù)據(jù)集的主分量(2) 漢字識(shí)別(3) 自組織特征映射(4) CT圖像的分割答：(1) 求數(shù)據(jù)集的主分量是非監(jiān)督學(xué)習(xí)方法；(2) 漢字識(shí)別：對(duì)待識(shí)別字符加上相應(yīng)類別號(hào)有監(jiān)督學(xué)習(xí)方法；(3) 自組織特征映射將高維數(shù)組按保留近似度向低維映射非監(jiān)督學(xué)習(xí)；(4) CT圖像分割按數(shù)據(jù)自然分布聚類非監(jiān)督學(xué)習(xí)方法；5、試列舉線性分類器中最著名的三種最佳準(zhǔn)則以及它們各自的原理。答：線性分類器三種最優(yōu)準(zhǔn)則：Fisher準(zhǔn)則：根據(jù)兩類樣本一般類內(nèi)密集，類間分離的特點(diǎn)，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內(nèi)盡可能密集，類間盡可能分開。這種度量通過類內(nèi)離散矩陣Sw和類間離散矩陣Sb實(shí)現(xiàn)。感知準(zhǔn)則函數(shù)：準(zhǔn)則函數(shù)以使錯(cuò)分類樣本到分界面距離之和最小為原則。其優(yōu)點(diǎn)是通過錯(cuò)分類樣本提供的信息對(duì)分類器函數(shù)進(jìn)行修正，這種準(zhǔn)則是人工神經(jīng)元網(wǎng)絡(luò)多層感知器的基礎(chǔ)。支持向量機(jī)：基本思想是在兩類線性可分條件下，所設(shè)計(jì)的分類器界面使兩類之間的間隔為最大，它的基本出發(fā)點(diǎn)是使期望泛化風(fēng)險(xiǎn)盡可能小。6、試分析五種常用決策規(guī)則思想方法的異同。答、五種常用決策是： 1. 基于最小錯(cuò)誤率的貝葉斯決策，利用概率論中的貝葉斯公式，得出使得錯(cuò)誤率最小的分類規(guī)則。 2. 基于最小風(fēng)險(xiǎn)的貝葉斯決策，引入了損失函數(shù)，得出使決策風(fēng)險(xiǎn)最小的分類。當(dāng)在0-1損失函數(shù)條件下，基于最小風(fēng)險(xiǎn)的貝葉斯決策變成基于最小錯(cuò)誤率的貝葉斯決策。 3. 在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率最小的兩類別決策。 4. 最大最小決策：類先驗(yàn)概率未知，考察先驗(yàn)概率變化對(duì)錯(cuò)誤率的影響，找出使最小貝葉斯奉獻(xiàn)最大的先驗(yàn)概率，以這種最壞情況設(shè)計(jì)分類器。 5. 序貫分類方法，除了考慮分類造成的損失外，還考慮特征獲取造成的代價(jià)，先用一部分特征分類，然后逐步加入性特征以減少分類損失，同時(shí)平衡總的損失，以求得最有效益。7、 1. 什么是特征選擇？2. 什么是Fisher線性判別？答：1. 特征選擇就是從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的。 2. Fisher線性判別：可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維，這在數(shù)學(xué)上容易辦到，然而，即使樣本在d維空間里形成若干緊湊的互相分得開的集群，如果把它們投影到一條任意的直線上，也可能使得幾類樣本混在一起而變得無法識(shí)別。但是在一般情況下，總可以找到某個(gè)方向，使得在這個(gè)方向的直線上，樣本的投影能分開得最好。問題是如何根據(jù)實(shí)際情況找到這條最好的、最易于分類的投影線，這就是Fisher算法所要解決的基本問題。8、寫出兩類和多類情況下最小風(fēng)險(xiǎn)貝葉斯決策判別函數(shù)和決策面方程。兩類問題：判別函數(shù) 決策面方程：C類問題：判別函數(shù) ，決策面方程：，數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類決策分類器設(shè)計(jì)信號(hào)空間特征空間9、請(qǐng)論述模式識(shí)別系統(tǒng)的主要組成部分及其設(shè)計(jì)流程，并簡述各組成部分中常用方法的主要思想。信息獲?。和ㄟ^測(cè)量、采樣和量化，可以用矩陣或向量表示二維圖像或波形。預(yù)處理：去除噪聲，加強(qiáng)有用的信息，并對(duì)輸入測(cè)量儀器或其他因素造成的退化現(xiàn)象進(jìn)行復(fù)原。特征選擇和提?。簽榱擞行У貙?shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。分類決策：在特征空間中用統(tǒng)計(jì)方法把識(shí)別對(duì)象歸為某一類。10、簡述支持向量機(jī)的基本思想。答：SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0)，且使分類間隔最大。SVM考慮尋找一個(gè)滿足分類要求的超平面，并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn)，也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域(margin)最大。過兩類樣本中離分類面最近的點(diǎn)，且平行于最優(yōu)分類面的超平面上H1，H2的訓(xùn)練樣本就叫支持向量。四、計(jì)算題1、設(shè)兩類樣本的類內(nèi)散布矩陣分別為， 兩類的類心分別為m1=(2,0)T, m2=(2,2)T, 試用fisher準(zhǔn)則求其決策面方程。2、已知兩個(gè)一維模式類別的類概率密度函數(shù)為: 先驗(yàn)概率P(w1)=0.6，P(w2)=0.4，（1）求0-1代價(jià)Bayes判決函數(shù)；（2）求總錯(cuò)誤概率P(e)；（3）判斷樣本x1=1.35, x2=1.45, x3=1.55, x4=1.65 各屬于哪一類別。3、假設(shè)在某個(gè)地區(qū)細(xì)胞識(shí)別中正常（w1）和異常（w2）兩類先驗(yàn)概率分別為，現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得，并且已知，試對(duì)該細(xì)胞x用一下兩種方法進(jìn)行分類：(1) 基于最小錯(cuò)誤率的貝葉斯決策；(2) 基于最小風(fēng)險(xiǎn)的貝葉斯決策；請(qǐng)分析兩種結(jié)果的異同及原因。4、有兩類樣本集 ， ，(1) 用K-L變換求其二維特征空間，并求出其特征空間的坐標(biāo)軸；(2) 使用Fisher線性判別方法給出這兩類樣本的分類面。5、假設(shè)兩類模式服從如下的正態(tài)分布： ，求使最大化的一維特征空間的變換矢量。 6、現(xiàn)有樣本集X=(0,0)T, (0,1) T, (2,1) T, (2,3) T, (3,4) T, (1,0) T , 試用C-均值算法進(jìn)行聚類分析(類數(shù)C=2), 初始聚類中心為(0, 0)T、(0, 1) T。7、已知二維樣本：=(-1,0)T，=(0,-1)T，=(0,0)T，=(2,0)T和=(0,2)T，。試用感知器算法求出分類決策函數(shù)，并判斷=(2,1)T屬于哪一類？ 8、兩類樣本的均值矢量分別為m1=(4, 2)T 和 m2=(- 4,-2)T，協(xié)方差矩陣分別為： 兩類的先驗(yàn)概率相等，試求一維特征提取矩陣。9、設(shè)語言L(G)的正樣本集，試推斷出余碼文法Gc。