人工智能 第七章 機(jī)器學(xué)習(xí)

第七章 機(jī)器學(xué)習(xí)教學(xué)內(nèi)容：機(jī)器學(xué)習(xí)是繼專(zhuān)家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域。本章 主要介紹機(jī)器學(xué)習(xí)的有關(guān)知識(shí)及其主要的幾種學(xué)習(xí)方法，并介紹了知識(shí)發(fā)現(xiàn)的相 關(guān)內(nèi)容。教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)、類(lèi)比學(xué)習(xí)、神經(jīng)學(xué)習(xí)、知識(shí)發(fā)現(xiàn)教學(xué)難點(diǎn)：學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，知識(shí)發(fā)現(xiàn)的處理過(guò)程，教學(xué)方法：課堂教學(xué)為主。注意結(jié)合學(xué)生已學(xué)的內(nèi)容。及時(shí)提問(wèn)、收集學(xué)生學(xué)習(xí) 情況，多實(shí)用具體實(shí)例來(lái)加以說(shuō)明，注意難易結(jié)合，將課程講述得較為淺顯易懂。教學(xué)要求：重點(diǎn)掌握類(lèi)比學(xué)習(xí)和知識(shí)發(fā)現(xiàn)，掌握機(jī)器學(xué)習(xí)的發(fā)展史和神經(jīng)學(xué)習(xí)， 了解解釋學(xué)習(xí)、歸納學(xué)習(xí)，一般了解機(jī)械學(xué)習(xí)。7.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史教學(xué)內(nèi)容：本小節(jié)主要介紹了機(jī)器學(xué)習(xí)的定義以及其發(fā)展的過(guò)程，為后面的進(jìn)一 步學(xué)習(xí)打下基礎(chǔ)。教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的定義教學(xué)難點(diǎn)：對(duì)定義的準(zhǔn)確把握和理解教學(xué)方法：通過(guò)舉例引入機(jī)器學(xué)習(xí)的定義，在講述發(fā)展歷史時(shí)，簡(jiǎn)介各階段的具 體產(chǎn)物，讓學(xué)生有較為具體的感受和體會(huì)。教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的定義，了解機(jī)器學(xué)習(xí)的發(fā)展史。7.1.1 機(jī)器學(xué)習(xí)的定義1. 機(jī)器學(xué)習(xí)的基本概念：按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能 力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類(lèi)似任務(wù)時(shí)，會(huì)比現(xiàn)在做 得更好或效率更高。2. 機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。稍為嚴(yán)格的 提法是：機(jī)器學(xué)習(xí)是一門(mén)研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。舉例：列舉 1959 年美國(guó)的塞繆爾設(shè)計(jì)的一下棋程序，由這一事件引出關(guān)于機(jī)器 學(xué)習(xí)的概念的相關(guān)討論。提問(wèn)：討論關(guān)于機(jī)器學(xué)習(xí)的各種概念的提出以及其區(qū)別。7.1.2 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)是人工智能應(yīng)用研究較為重要的分支，它的發(fā)展過(guò)程大體上可分為 4 個(gè)時(shí)期：1. 第一階段是在 50年代中葉到 60 年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期， 所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)；其研究目標(biāo)是各類(lèi)自組織系 統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在 40 年代就開(kāi)始研究的神經(jīng) 網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。2. 第二階段在 60年代中葉至 70 年代中葉，被稱(chēng)為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本 階段的研究目標(biāo)是模擬人類(lèi)的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器 內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取 得實(shí)質(zhì)進(jìn)展。3. 第三階段從 70 年代中葉至 80 年代中葉，稱(chēng)為復(fù)興時(shí)期。在這個(gè)時(shí)期，人 們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。 本階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì) 譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980 年西蒙 來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。4. 機(jī)器學(xué)習(xí)的最新階段始于 1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興 起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研 究開(kāi)始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。討論：根據(jù)對(duì)四個(gè)時(shí)期的劃分和分段了解，討論機(jī)器學(xué)習(xí)在現(xiàn)實(shí)生活中的具體運(yùn) 用及其影響。7.2 機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)內(nèi)容與作用：本小節(jié)概括了機(jī)器學(xué)習(xí)的主要策略，同時(shí)給出了機(jī)器學(xué)習(xí)的基本結(jié) 構(gòu)，讓學(xué)生對(duì)機(jī)器學(xué)習(xí)的機(jī)制有了基本的認(rèn)識(shí)。教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)。教學(xué)難點(diǎn)：機(jī)器學(xué)習(xí)基本結(jié)構(gòu)的內(nèi)在聯(lián)系。教學(xué)方法：通過(guò)概括介紹讓學(xué)生了解幾種基本的策略，按從易到難的順序，層層 鋪墊，為后面的學(xué)習(xí)埋下伏筆。詳細(xì)講述機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，通過(guò)圖示讓更為 形象的說(shuō)明。教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，了解機(jī)器學(xué)習(xí)的幾種主要策略，一般 了解影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的因素。7.2.1 機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí) 所采用的策略大體上可分為 4 種棗機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類(lèi)比學(xué)習(xí)和示例學(xué)習(xí)。 學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。1. 機(jī)械學(xué)習(xí)就是記憶，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理 過(guò)程。2. 比機(jī)械學(xué)習(xí)更復(fù)雜一點(diǎn)的學(xué)習(xí)是示教學(xué)習(xí)策略。系統(tǒng)在接受外部知識(shí)時(shí)需 要一點(diǎn)推理，翻譯和轉(zhuǎn)化工作。3. 類(lèi)比學(xué)習(xí)系統(tǒng)只能得到完成類(lèi)似任務(wù)的有關(guān)因此，他比上述兩種學(xué)習(xí)策略 需要更多的推理。4. 采用示例學(xué)習(xí)策略的計(jì)算機(jī)系統(tǒng)，事先完全沒(méi)有完成任務(wù)的任何規(guī)律性的 信息，因此需要推理是最多的。討論：通過(guò)對(duì)比四種主要策略，討論其各自的優(yōu)缺點(diǎn)以及其適用的環(huán)境。7.2.2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)1. 基本結(jié)構(gòu)圖 7.1 表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)：圖 7.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)通過(guò)對(duì)這個(gè)簡(jiǎn)單模型的討論，總結(jié)出設(shè)計(jì)學(xué)習(xí)系統(tǒng)應(yīng)當(dāng)注意的某些總的原則：環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部 分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部 分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中， 環(huán)境，知識(shí)庫(kù)和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問(wèn)題完 全由上述 3 部分確定。舉例：以人為例，說(shuō)明機(jī)器學(xué)習(xí)和 人學(xué)習(xí)一樣，有著其自身的規(guī)律和基本過(guò)程。 而且，其學(xué)習(xí)過(guò)程也有著共性。提問(wèn)：能否就機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，舉出相關(guān)的例子，并參照其基本結(jié)構(gòu)對(duì)其進(jìn) 行分析。2. 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的重要因素(1) .影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個(gè)過(guò)程 要遵循“取之精華，棄之糟粕”的原則，同時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。(2) .知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有多種形式，在 選擇表示方式時(shí)要兼顧以下 4 個(gè)方面：表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識(shí)表示方式能使推理 較為容易。容易修改知識(shí)庫(kù)。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣 得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。知識(shí)表示易于擴(kuò)展。學(xué)習(xí)系統(tǒng)不能在全然沒(méi)有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng) 都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這 些假設(shè)。因此，更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。舉例：可舉特征向量的例子來(lái)說(shuō)明表達(dá)能力和推理的問(wèn)題。7.3 機(jī)械學(xué)習(xí)教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了機(jī)械學(xué)習(xí)，對(duì)機(jī)械學(xué)習(xí)模式和一種數(shù)據(jù)化簡(jiǎn)模式以 及機(jī)械學(xué)習(xí)的主要缺點(diǎn)都有較為細(xì)致的講解。通過(guò)對(duì)這種最基本的機(jī)器學(xué)習(xí)的了 解，為以后學(xué)習(xí)更為復(fù)雜的策略打下良好的基礎(chǔ)。教學(xué)重點(diǎn)：機(jī)械學(xué)習(xí)的模式和其數(shù)據(jù)化簡(jiǎn)模式教學(xué)難點(diǎn)：基本原理教學(xué)方法：用較為通俗的語(yǔ)言將機(jī)械學(xué)習(xí)的模式講通徹，同時(shí)通過(guò)圖表對(duì)其數(shù)據(jù) 化簡(jiǎn)過(guò)程進(jìn)行講解。多結(jié)合日常生活中常有的學(xué)習(xí)過(guò)程，和機(jī)械學(xué)習(xí)參照，讓學(xué) 生更容易接受。教學(xué)要求：重點(diǎn)掌握機(jī)械學(xué)習(xí)模式，了解機(jī)械學(xué)習(xí)的數(shù)據(jù)化簡(jiǎn)模式以及機(jī)械學(xué)習(xí) 的優(yōu)缺點(diǎn)。1、機(jī)械學(xué)習(xí)的模式機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ) 起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò) 程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取 是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。舉例：可用嬰兒剛開(kāi)始學(xué)東西時(shí)所才用的學(xué)習(xí)方式和成人的思維方式比較。2、數(shù)據(jù)化簡(jiǎn)Lena t,Hayes Ro th,和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的 觀點(diǎn)。他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡(jiǎn)分級(jí)中的第一級(jí)。數(shù)據(jù)化簡(jiǎn)與 計(jì)算機(jī)語(yǔ)言編譯類(lèi)似；其目的是把原始信息變成可執(zhí)行的信息。在機(jī)械學(xué)習(xí)中我 們只記憶計(jì)算的輸入輸出,忽略了計(jì)算過(guò)程,這樣就把計(jì)算問(wèn)題化簡(jiǎn)成存取問(wèn)題。 見(jiàn)圖 7.2：3、主要問(wèn)題對(duì)于機(jī)械學(xué)習(xí)，需要注意 3 個(gè)重要的問(wèn)題：存儲(chǔ)組織，穩(wěn)定性和存儲(chǔ)與計(jì)算 之間的權(quán)衡。（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。（2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保 存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。（3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降 低系統(tǒng)的效率。討論：機(jī)械學(xué)習(xí)中存在的主要問(wèn)題以及對(duì)學(xué)習(xí)模型的影響。7.4 歸納學(xué)習(xí)教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了歸納學(xué)習(xí)，對(duì)歸納學(xué)習(xí)的模式有較為細(xì)致的講解， 對(duì)其定義有詳細(xì)的介紹，后半部分介紹了幾種常見(jiàn)的歸納學(xué)習(xí)的方法。教學(xué)重點(diǎn)：歸納學(xué)習(xí)的定義和其學(xué)習(xí)模式 教學(xué)難點(diǎn)：歸納學(xué)習(xí)的基本原理 教學(xué)方法：仍然使用到圖表對(duì)歸納學(xué)習(xí)的模式進(jìn)行講授，結(jié)合幾種常用的歸納學(xué)習(xí)方法，讓學(xué)生形成系統(tǒng)的認(rèn)識(shí)。 教學(xué)要求：重點(diǎn)掌握歸納學(xué)習(xí)的定義及其模式，了解歸納學(xué)習(xí)的幾種常見(jiàn)方法。歸納學(xué)習(xí)的定義(1) 歸納(induetion)是人類(lèi)拓展認(rèn)識(shí)能力的重要方法，是一種從個(gè)別到 一般的，從部分到整體的推理行為。(2) 歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識(shí)， 提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。(3) 歸納學(xué)習(xí)(induetion learning)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方 法。根據(jù)歸納學(xué)習(xí)有無(wú)教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者 屬于有師學(xué)習(xí)，后者屬于無(wú)師學(xué)習(xí)。7.4.1 歸納學(xué)習(xí)的模式和規(guī)則歸納學(xué)習(xí)的一般模式為：給定：(1)觀察陳述(事實(shí))F,用以表示有關(guān)某些對(duì)象、狀態(tài)、過(guò)程等的 特定知識(shí)；(2) 假定的初始?xì)w納斷言(可能為空)；(3) 背景知識(shí)，用于定義有 關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問(wèn)題領(lǐng)域知識(shí)、假設(shè)和約束，其中包括 能夠刻畫(huà)所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。求：歸納斷言(假設(shè))H,能重言蘊(yùn)涵或弱蘊(yùn)涵觀察陳述，并滿(mǎn)足背景知識(shí)。假設(shè)H永真蘊(yùn)涵事實(shí)F,說(shuō)明F是H的邏輯推理，則有：H |> F (讀作 H 特殊化為 F)或F |< H (讀作F 般化或消解為H)這里，從H推導(dǎo)F是演繹推理，因此是保真的；而從事實(shí)F推導(dǎo)出假設(shè)H 是歸納推理，因此不是保真的，而是保假的。歸納學(xué)習(xí)系統(tǒng)的模型如圖7.3所示。圖 7.3 歸納學(xué)習(xí)系統(tǒng)模型實(shí)驗(yàn)規(guī)劃過(guò)程通過(guò)對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí) 例提交解釋過(guò)程。解釋過(guò)程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中 的特定概念，以引導(dǎo)規(guī)則空間的搜索。思考：引導(dǎo)學(xué)生通過(guò)對(duì)歸納學(xué)習(xí)模型的學(xué)習(xí)，結(jié)合身邊的實(shí)例加以分析。7.4.2 歸納學(xué)習(xí)方法1、示例學(xué)習(xí)示例學(xué)習(xí)(learning from examples)又稱(chēng)為實(shí)例學(xué)習(xí)，它是通過(guò)環(huán)境中若 干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子(正例和反例)，示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，以 覆蓋所有的正例并排除所有反例。2、觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱(chēng)為描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描 述，刻畫(huà)觀察集，指定某類(lèi)對(duì)象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā) 現(xiàn)兩種。前者用于對(duì)事例進(jìn)行聚類(lèi)，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定 律或規(guī)則。舉例：通過(guò)書(shū)上的例子引出示例學(xué)習(xí)的概念，并加以說(shuō)明。7.5 類(lèi)比學(xué)習(xí)教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了類(lèi)比學(xué)習(xí)，首先介紹類(lèi)比推理，然后討論類(lèi)比學(xué)習(xí) 的形式和學(xué)習(xí)步驟，最后研究類(lèi)比學(xué)習(xí)的過(guò)程和研究類(lèi)型。教學(xué)重點(diǎn)：類(lèi)比推理，類(lèi)比學(xué)習(xí)的學(xué)習(xí)過(guò)程教學(xué)難點(diǎn)：類(lèi)比推理的步驟教學(xué)方法：本節(jié)的知識(shí)較為枯燥，講述的時(shí)候要盡量多結(jié)合相關(guān)的示例讓學(xué)生能 有具體的感受，更有力于接受知識(shí)。教學(xué)要求：重點(diǎn)掌握類(lèi)比推理的定義，了解類(lèi)比學(xué)習(xí)的過(guò)程。7.5.1 類(lèi)比推理和類(lèi)比學(xué)習(xí)形式類(lèi)比推理是由新情況與已知情況在某些方面的相似來(lái)推出它們?cè)谄渌嚓P(guān) 方面的相似。顯然，類(lèi)比推理是在兩個(gè)相似域之間進(jìn)行的：類(lèi)比推理的目的是從 源域中選出與當(dāng)前問(wèn)題最近似的問(wèn)題及其求解方法以求解決當(dāng)前的問(wèn)題，或者建 立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識(shí)。其推理過(guò)程如下：(1) 回憶與聯(lián)想遇到新情況或新問(wèn)題時(shí)，首先通過(guò)回憶與聯(lián)想在S中找出與當(dāng)前情況相似的 情況，這些情況是過(guò)去已經(jīng)處理過(guò)的，有現(xiàn)成的解決方法及相關(guān)的知識(shí)。(2) 選擇從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。(3) 建立對(duì)應(yīng)映射在S與T的相似情況之間建立相似元素的對(duì)應(yīng)關(guān)系，并建立起相應(yīng)的映射。(4) 轉(zhuǎn)換在上一步建立的映射下，把S中的有關(guān)知識(shí)引到T中來(lái)，從而建立起求解當(dāng) 前問(wèn)題的方法或者學(xué)習(xí)到關(guān)于T的新知識(shí)。舉例：舉出現(xiàn)實(shí)中的具體實(shí)例，按推理過(guò)程對(duì)其步驟進(jìn)行一步步的細(xì)分。7.5.2 類(lèi)比學(xué)習(xí)過(guò)程與研究類(lèi)型類(lèi)比學(xué)習(xí)主要包括如下四個(gè)過(guò)程：(1) 輸入一組已知條件(已解決問(wèn)題)和一組未完全確定的條件(新問(wèn)題)。(2) 對(duì)輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類(lèi)比 的對(duì)應(yīng)關(guān)系。(3) 按相似變換的方法，將已有問(wèn)題的概念、特性、方法、關(guān)系等映射到新 問(wèn)題上，以獲得待求解新問(wèn)題所需的新知識(shí)。(4) 對(duì)類(lèi)推得到的新問(wèn)題的知識(shí)進(jìn)行校驗(yàn)。驗(yàn)證正確的知識(shí)存入知識(shí)庫(kù)中， 而暫時(shí)還無(wú)法驗(yàn)證的知識(shí)只能作為參考性知識(shí)，置于數(shù)據(jù)庫(kù)中。7.6 解釋學(xué)習(xí)教學(xué)內(nèi)容：本小節(jié)對(duì)兩種基本的學(xué)習(xí)進(jìn)行了介紹，對(duì)相關(guān)知識(shí)能有所了解，對(duì)以 后的學(xué)習(xí)有很大的幫助。教學(xué)重點(diǎn)：解釋學(xué)習(xí)的過(guò)程和算法，神經(jīng)學(xué)習(xí)的相關(guān)知識(shí)教學(xué)難點(diǎn)：解釋學(xué)習(xí)的過(guò)程和算法教學(xué)方法：由于本節(jié)知識(shí)只做一般了解，所以只需對(duì)相關(guān)概念做個(gè)簡(jiǎn)介即可 教學(xué)要求：了解解釋學(xué)習(xí)的過(guò)程及神經(jīng)學(xué)習(xí)的概念。7.6.1 解釋學(xué)習(xí)過(guò)程和算法解釋學(xué)習(xí)一般包括下列 3 個(gè)步驟：(1) 利用基于解釋的方法對(duì)訓(xùn)練例子進(jìn)行分析與解釋。(2) 對(duì)例子的結(jié)構(gòu)進(jìn)行概括性解釋。(3) 從解釋結(jié)構(gòu)中識(shí)別出訓(xùn)練例子的特性，獲取一般控制知識(shí)。1986年米切爾(Mitchell)等人為基于解釋的學(xué)習(xí)提出了一個(gè)統(tǒng)一的算法 EBG,該算法建立了基于解釋的概括過(guò)程，并運(yùn)用知識(shí)的邏輯表示和演繹推理進(jìn) 行問(wèn)題求解。圖 7.4 表示 EBG 問(wèn)題。操作準(zhǔn)則目標(biāo)概念* 新規(guī)則訓(xùn)練例子 1知識(shí)庫(kù)圖 7.4 EBG 問(wèn)題EBG 求解問(wèn)題的形式可描述于下:給定：(1) 目標(biāo)概念描述 TC；(2) 訓(xùn)練實(shí)例 TE；(3) 領(lǐng)域知識(shí) DT；(4) 操作準(zhǔn)則 OC。求解：訓(xùn)練實(shí)例的一般化概括，使之滿(mǎn)足：(1) 目標(biāo)概念的充分概括描述 TC；(2) 操作準(zhǔn)則 OC。思考：引導(dǎo)學(xué)生自學(xué)本小節(jié)的某些知識(shí)，結(jié)合書(shū)上的示例對(duì)數(shù)學(xué)推理有一定了解例子：通過(guò)解釋學(xué)習(xí)獲得一個(gè)物體(X)可安全放置到另一個(gè)物體(y)上的概念。7.7 神經(jīng)學(xué)習(xí)教學(xué)內(nèi)容：討論基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本原理。教學(xué)重點(diǎn)：基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)，基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)。教學(xué)難點(diǎn)： 上述兩種神經(jīng)學(xué)習(xí)的算法。教學(xué)方法： 課堂講授為主。教學(xué)要求： 掌握上述神經(jīng)學(xué)習(xí)的結(jié)構(gòu)，了解神經(jīng)學(xué)習(xí)的算法。7.7.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)反向傳播算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡(jiǎn)單的 方法。由于BP算法過(guò)程包含從輸出節(jié)點(diǎn)開(kāi)始，反向地向第一隱含層（即最接近輸 入層的隱含層）傳播由總誤差引起的權(quán)值修正，所以稱(chēng)為“反向傳播”。反向傳 播特性與所求解問(wèn)題的性質(zhì)和所作細(xì)節(jié)選擇有極為密切的關(guān)系。772基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。Hopfield 網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。 Hopfield 網(wǎng)絡(luò) 系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線(xiàn)性和非線(xiàn)性規(guī)劃等優(yōu)化求解任務(wù)。78 知識(shí)發(fā)現(xiàn)教學(xué)內(nèi)容：知識(shí)發(fā)現(xiàn)的發(fā)展過(guò)程和定義，知識(shí)發(fā)現(xiàn)的處理過(guò)程，知識(shí)發(fā)現(xiàn)的方法 和應(yīng)用。教學(xué)重點(diǎn)：知識(shí)發(fā)現(xiàn)的處理過(guò)程，知識(shí)發(fā)現(xiàn)的方法。教學(xué)難點(diǎn)：知識(shí)發(fā)現(xiàn)的方法教學(xué)方法：通過(guò)實(shí)例激發(fā)學(xué)生對(duì)知識(shí)發(fā)現(xiàn)的學(xué)習(xí)興趣，進(jìn)而重點(diǎn)講解知識(shí)發(fā)現(xiàn)的 過(guò)程和方法。教學(xué)要求：重點(diǎn)掌握知識(shí)發(fā)現(xiàn)的過(guò)程，了解知識(shí)發(fā)現(xiàn)的方法，了解知識(shí)發(fā)現(xiàn)的應(yīng) 用。781 知識(shí)發(fā)現(xiàn)的發(fā)展和定義1知識(shí)發(fā)現(xiàn)的產(chǎn)生和發(fā)展知識(shí)發(fā)現(xiàn)最早是于1989年8月在第11屆國(guó)際人工智能聯(lián)合會(huì)議的專(zhuān)題討論 會(huì)上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究 KDD 的網(wǎng)站、論壇和新聞 報(bào)導(dǎo)。在研究的基礎(chǔ)上，也出現(xiàn)一些 KDD 產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的關(guān)注。2定義：數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎的、潛在有用 的、并可被理解的模式的高級(jí)處理過(guò)程。（1）數(shù)據(jù)集：是指一個(gè)有關(guān)事實(shí)F的集合，它是用來(lái)描述事物有關(guān)方面的 信息，是進(jìn)一步發(fā)現(xiàn)知識(shí)的原材料。2）新穎：經(jīng)過(guò)知識(shí)發(fā)現(xiàn)提取出的模式必須是新穎的。（3）潛在有用：提取出的模式應(yīng)該是有意義的，這可以通過(guò)某些函數(shù)的值 來(lái)衡量。（4）可被人理解：知識(shí)發(fā)現(xiàn)的一個(gè)目標(biāo)就是將數(shù)據(jù)庫(kù)中隱含的模式以容易 被人理解的形式表現(xiàn)出來(lái)，從而幫助人們更好地了解數(shù)據(jù)庫(kù)中所包含的信息。7.8.2 知識(shí)發(fā)現(xiàn)的處理過(guò)程1、數(shù)據(jù)選擇。根據(jù)用戶(hù)的需求從數(shù)據(jù)庫(kù)中提取與KDD相關(guān)的數(shù)據(jù)。2、數(shù)據(jù)預(yù)處理。主要是對(duì)上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一 致性，對(duì)丟失的數(shù)據(jù)利 用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。3、數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)。4數(shù)據(jù)挖掘。根據(jù)用戶(hù)要求，確定KDD的目標(biāo)是發(fā)現(xiàn)何種類(lèi)型的知識(shí)。5、知識(shí)評(píng)價(jià)。這一過(guò)程主要用于對(duì)所獲得的規(guī)則進(jìn)行價(jià)值評(píng)定，以決定所得的規(guī)則是否存入基礎(chǔ)知識(shí)庫(kù)。上述KDD全過(guò)程的幾個(gè)步驟可以進(jìn)一步歸納為三個(gè)步驟，即數(shù)據(jù)挖掘預(yù)處理 （數(shù)據(jù)挖掘前的準(zhǔn)備工作）、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理（數(shù)據(jù)挖掘后的處理工 作）。簡(jiǎn)單介紹幾種新的對(duì)數(shù)據(jù)發(fā)掘的改進(jìn)過(guò)程。 舉例：參照上述的處理過(guò)程，舉出具體實(shí)例，詳細(xì)講述每步的過(guò)程。知識(shí)發(fā)現(xiàn)的方法知識(shí)發(fā)現(xiàn)的方法有統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)、神經(jīng)計(jì)算和可視化方法等。1、統(tǒng)計(jì)方法統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。2、機(jī)器學(xué)習(xí)方法可能用于機(jī)器發(fā)現(xiàn)的機(jī)器學(xué)習(xí)方法有：(1) 規(guī)則歸納。規(guī)則反映數(shù)據(jù)項(xiàng)中某些屬性或數(shù)據(jù)集中某些數(shù)據(jù)項(xiàng)之間的統(tǒng) 計(jì)相關(guān)性。(2) 決策樹(shù)。決策樹(shù)的每一個(gè)非終葉節(jié)點(diǎn)表示所考慮的數(shù)據(jù)項(xiàng)的測(cè)試或決 策。(3) 范例推理。范例推理是直接使用過(guò)去的經(jīng)驗(yàn)或解法來(lái)求解給定的問(wèn)題。(4) 貝葉斯信念網(wǎng)絡(luò)。貝葉斯信念網(wǎng)絡(luò)是概率分布的圖表示。(5) 科學(xué)發(fā)現(xiàn)?？茖W(xué)發(fā)現(xiàn)是在實(shí)驗(yàn)環(huán)境下發(fā)現(xiàn)科學(xué)定律。(6) 遺傳算法。在求解過(guò)程中，通過(guò)最好解的選擇和彼此組合，使期望解的 集合愈來(lái)愈好。3、神經(jīng)計(jì)算方法4、可視化方法可視化(visualization)就是把數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為可視的表示形式 的過(guò)程。舉例：舉出幾個(gè)具體的實(shí)例讓學(xué)生對(duì)機(jī)器學(xué)習(xí)的幾種方法有基本了解。7.8.4 知識(shí)發(fā)現(xiàn)的應(yīng)用知識(shí)發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用，且應(yīng)用領(lǐng)域越來(lái)越廣?，F(xiàn)在，知識(shí)發(fā)現(xiàn)已 在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和 娛樂(lè)業(yè)等行業(yè)和部門(mén)得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。 思考：舉出有關(guān)的幾種應(yīng)用，再想想再現(xiàn)實(shí)生活中是否有其它的應(yīng)用。7.9 小 結(jié)本章只對(duì)機(jī)器學(xué)習(xí)作個(gè)入門(mén)介紹。機(jī)器學(xué)習(xí)在過(guò)去十多年中獲得較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算 機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開(kāi)展新的研究。其中，對(duì)結(jié)構(gòu)模型、計(jì)算理論、 算法和混合學(xué)習(xí)的開(kāi)發(fā)尤為重要。在這些方面，有許多事要做，有許多新問(wèn)題需 要人們?nèi)ソ鉀Q。