模式識(shí)別導(dǎo)論第01章概論.ppt

2020 3 3 北京郵電大學(xué)信息工程學(xué)院 模式識(shí)別導(dǎo)論 盛立東北京郵電大學(xué)信息工程學(xué)院 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 參考書(shū) 模式識(shí)別人民郵電出版社羅耀光盛立東模式識(shí)別清華大學(xué)出版社邊肇祺模式識(shí)別及應(yīng)用科學(xué)出版社付京蓀SyntacticPatternRecognitionandApplicationK S FuPatternRecognitionPrinciplesJ T TomR C Gouzales 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 作業(yè) 大型上機(jī)作業(yè)題考試 開(kāi)卷考試 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 第一章概論 1 1模式識(shí)別的基本概念 一 模式識(shí)別的基本定義模式 pattern 存在于時(shí)間 空間中可觀察的事物 具有時(shí)間或空間分布的信息 模式識(shí)別 PatternRecognition 用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析 描述 判斷 識(shí)別 模式識(shí)別與圖象識(shí)別 圖象處理的關(guān)系模式識(shí)別是模擬人的某些功能模擬人的視覺(jué) 計(jì)算機(jī) 光學(xué)系統(tǒng)模擬人的聽(tīng)覺(jué) 計(jì)算機(jī) 聲音傳感器模擬人的嗅覺(jué)和觸覺(jué) 計(jì)算機(jī) 傳感器 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 二 模式識(shí)別的發(fā)展史 1929年G Tauschek發(fā)明閱讀機(jī) 能夠閱讀0 9的數(shù)字 30年代Fisher提出統(tǒng)計(jì)分類理論 奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ) 因此 在60 70年代 統(tǒng)計(jì)模式識(shí)別發(fā)展很快 但由于被識(shí)別的模式愈來(lái)愈復(fù)雜 特征也愈多 就出現(xiàn) 維數(shù)災(zāi)難 但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展 這個(gè)問(wèn)題得到一定克服 統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 50年代NoamChemsky提出形式語(yǔ)言理論美籍華人付京蓀提出句法結(jié)構(gòu)模式識(shí)別 60年代L A Zadeh提出了模糊集理論 模糊模式識(shí)別理論得到了較廣泛的應(yīng)用 80年代Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論 近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識(shí)別和人工智能上得到較廣泛的應(yīng)用 90年代小樣本學(xué)習(xí)理論 支持向量機(jī)也受到了很大的重視 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 三 關(guān)于模式識(shí)別的國(guó)內(nèi) 國(guó)際學(xué)術(shù)組織 1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議 ICPR 成立了國(guó)際模式識(shí)別協(xié)會(huì) IAPR 每2年召開(kāi)一次國(guó)際學(xué)術(shù)會(huì)議 1977年IEEE的計(jì)算機(jī)學(xué)會(huì)成立了模式分析與機(jī)器智能 PAMI 委員會(huì) 每2年召開(kāi)一次模式識(shí)別與圖象處理學(xué)術(shù)會(huì)議 國(guó)內(nèi)的組織有電子學(xué)會(huì) 通信學(xué)會(huì) 自動(dòng)化協(xié)會(huì) 中文信息學(xué)會(huì) 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 1 2模式識(shí)別系統(tǒng) 信息的獲取 是通過(guò)傳感器 將光或聲音等信息轉(zhuǎn)化為電信息 信息可以是二維的圖象如文字 圖象等 可以是一維的波形如聲波 心電圖 腦電圖 也可以是物理量與邏輯值 預(yù)處理 包括A D 二值化 圖象的平滑 變換 增強(qiáng) 恢復(fù) 濾波等 主要指圖象處理 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 特征抽取和選擇 在模式識(shí)別中 需要進(jìn)行特征的抽取和選擇 例如 一幅64x64的圖象可以得到4096個(gè)數(shù)據(jù) 這種在測(cè)量空間的原始數(shù)據(jù)通過(guò)變換獲得在特征空間最能反映分類本質(zhì)的特征 這就是特征提取和選擇的過(guò)程 分類器設(shè)計(jì) 分類器設(shè)計(jì)的主要功能是通過(guò)訓(xùn)練確定判決規(guī)則 使按此類判決規(guī)則分類時(shí) 錯(cuò)誤率最低 把這些判決規(guī)則建成標(biāo)準(zhǔn)庫(kù) 分類決策 在特征空間中對(duì)被識(shí)別對(duì)象進(jìn)行分類 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 1 3模式識(shí)別的應(yīng)用 1 字符識(shí)別 包括印刷體字符的識(shí)別 手寫(xiě)體字符的識(shí)別 脫機(jī) 各種OCR設(shè)備例如信函分揀 文件處理 卡片輸入 支票查對(duì) 自動(dòng)排板 期刊閱讀 稿件輸入 在線手寫(xiě)字符的識(shí)別 聯(lián)機(jī) 各種書(shū)寫(xiě)輸入板 2 醫(yī)療診斷 心電圖 腦電圖 染色體 癌細(xì)胞識(shí)別 疾病診斷 例如關(guān)幼波肝炎專家系統(tǒng) 3 遙感 資源衛(wèi)星照片 氣象衛(wèi)星照片處理 數(shù)字化地球 圖象分辨率可以達(dá)到1米 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 4 指紋識(shí)別臉形識(shí)別5 檢測(cè)污染分析 大氣 水源 環(huán)境監(jiān)測(cè) 6 自動(dòng)檢測(cè) 產(chǎn)品質(zhì)量自動(dòng)檢測(cè)7 語(yǔ)聲識(shí)別 機(jī)器翻譯 電話號(hào)碼自動(dòng)查詢 偵聽(tīng) 機(jī)器故障判斷 8 軍事應(yīng)用 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 1 4模式識(shí)別的基本問(wèn)題 一 模式 樣本 表示方法向量表示 假設(shè)一個(gè)樣本有n個(gè)變量 特征 X1 X2 Xn T2 矩陣表示 N個(gè)樣本 n個(gè)變量 特征 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 3 幾何表示一維表示X1 1 5X2 3二維表示X1 x1 x2 T 1 2 TX2 x1 x2 T 2 1 T三維表示X1 x1 x2 x3 T 1 1 0 TX2 x1 x2 x3 T 1 0 1 T 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 4 基元 鏈碼 表示 在右側(cè)的圖中八個(gè)基元分別表示0 1 2 3 4 5 6 7 八個(gè)方向和基元線段長(zhǎng)度 則右側(cè)樣本可以表示為X1 006666這種方法將在句法模式識(shí)別中用到 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 二 模式類的緊致性 1 緊致集 同一類模式類樣本的分布比較集中 沒(méi)有或臨界樣本很少 這樣的模式類稱緊致集 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 2 臨界點(diǎn) 樣本 在多類樣本中 某些樣本的值有微小變化時(shí)就變成另一類樣本稱為臨界樣本 點(diǎn) 3 緊致集的性質(zhì) 要求臨界點(diǎn)很少 集合內(nèi)的任意兩點(diǎn)的連線 在線上的點(diǎn)屬于同一集合 集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域 在鄰域內(nèi)只包含同一集合的點(diǎn)4 模式識(shí)別的要求 滿足緊致集 才能很好的分類 如果不滿足緊致集 就要采取變換的方法 滿足緊致集 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 三 相似與分類 1 兩個(gè)樣本xi xj之間的相似度量滿足以下要求 應(yīng)為非負(fù)值 樣本本身相似性度量應(yīng)最大 度量應(yīng)滿足對(duì)稱性 在滿足緊致性的條件下 相似性應(yīng)該是點(diǎn)間距離的單調(diào)函數(shù)2 用各種距離表示相似性 絕對(duì)值距離已知兩個(gè)樣本xi xi1 xi2 xi3 xin Txj xj1 xj2 xj3 xjn T 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 歐幾里德距離 明考夫斯基距離其中當(dāng)q 1時(shí)為絕對(duì)值距離 當(dāng)q 2時(shí)為歐氏距離 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 切比雪夫距離q趨向無(wú)窮大時(shí)明氏距離的極限情況 馬哈拉諾比斯距離其中xi xj為特征向量 為協(xié)方差 使用的條件是樣本符合正態(tài)分布 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 夾角余弦為xixj的均值即樣本間夾角小的為一類 具有相似性例 x1 x2 x3的夾角如圖 因?yàn)閤1 x2的夾角小 所以x1 x2最相似 x1 x2 x1 x2 x3 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 相關(guān)系數(shù)為xixj的均值注意 在求相關(guān)系數(shù)之前 要將數(shù)據(jù)標(biāo)準(zhǔn)化3 分類的主觀性和客觀性 分類帶有主觀性 目的不同 分類不同 例如 鯨魚(yú) 牛 馬從生物學(xué)的角度來(lái)講都屬于哺乳類 但是從產(chǎn)業(yè)角度來(lái)講鯨魚(yú)屬于水產(chǎn)業(yè) 牛和馬屬于畜牧業(yè) 分類的客觀性 科學(xué)性判斷分類必須有客觀標(biāo)準(zhǔn) 因此分類是追求客觀性的 但主觀性也很難避免 這就是分類的復(fù)雜性 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 四 特征的生成1 低層特征 無(wú)序尺度 有明確的數(shù)量和數(shù)值 有序尺度 有先后 好壞的次序關(guān)系 如酒分為上 中 下三個(gè)等級(jí) 名義尺度 無(wú)數(shù)量 無(wú)次序關(guān)系 如有紅 黃兩種顏色2 中層特征 經(jīng)過(guò)計(jì)算 變換得到的特征3 高層特征 在中層特征的基礎(chǔ)上有目的的經(jīng)過(guò)運(yùn)算形成例如 椅子的重量 體積 比重體積與長(zhǎng) 寬 高有關(guān) 比重與材料 紋理 顏色有關(guān) 這里低 中 高三層特征都有了 2020 3 3 北京郵電大學(xué)信息工程學(xué)院 五 數(shù)據(jù)的標(biāo)準(zhǔn)化1 極差標(biāo)準(zhǔn)化 一批樣本中 每個(gè)特征的最大值與最小值之差 極差極差標(biāo)準(zhǔn)化2 方差標(biāo)準(zhǔn)化Si為方差標(biāo)準(zhǔn)化的方法很多 原始數(shù)據(jù)是否應(yīng)該標(biāo)準(zhǔn)化 應(yīng)采用什么方法標(biāo)準(zhǔn)化 都要根據(jù)具體情況來(lái)定