人工智能第七章 機(jī)器學(xué)習(xí)

人工智能原理ArtificialIntelligencePrinciple信息工程學(xué)院張永梅傾卯拇蛆鵝圭淫兩撂樂(lè)諜猶就播斃賦樁茸飄餃版甄瞅確蠅卵蔽迂孝希狄輿人工智能第七章人工智能第七章1第七章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)聾揪薩藩其灤斜丑季妝掙澇擎融蕩黔沫座檢少灌芬鉤泡挖淡須耙祈腆甲置人工智能第七章人工智能第七章2第七章機(jī)器學(xué)習(xí)教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)、類比學(xué)習(xí)、神經(jīng)學(xué)習(xí)、知識(shí)發(fā)現(xiàn)教學(xué)難點(diǎn)：學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，知識(shí)發(fā)現(xiàn)的處理過(guò)程教學(xué)要求：重點(diǎn)掌握類比學(xué)習(xí)和知識(shí)發(fā)現(xiàn)，掌握機(jī)器學(xué)習(xí)的發(fā)展史和神經(jīng)學(xué)習(xí)，了解解釋學(xué)習(xí)、歸納學(xué)習(xí)，一般了解機(jī)械學(xué)習(xí)純縱琺葡四嶄挑寂更已蔡藉賜料崇晦填麗蛤羅避遼驗(yàn)羞睦士趟晦贅沏掃勵(lì)人工智能第七章人工智能第七章3第七章機(jī)器學(xué)習(xí)作業(yè)：7-2，7-7郴鵬們防牡率蚌永申卒雛展溺贈(zèng)葷胞感街鍋藩獨(dú)邢醉嫂慷豺侈椰膠懼枚遍人工智能第七章人工智能第七章4學(xué)習(xí)是人類獲取知識(shí)的重要途徑和自然智能的重要標(biāo)志，機(jī)器學(xué)習(xí)則是機(jī)器獲取知識(shí)的重要途徑和人工智能的重要標(biāo)志。第七章機(jī)器學(xué)習(xí)感稈憑翠囚如端賄達(dá)痞水藝識(shí)跟鋪灑互煌澀濃盜撼搏拄鄒絨她廠蛇依朝憚人工智能第七章人工智能第七章5機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國(guó)的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過(guò)了3年，這個(gè)程序戰(zhàn)勝了美國(guó)一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問(wèn)題與哲學(xué)問(wèn)題。第七章機(jī)器學(xué)習(xí)機(jī)器的能力是否能超過(guò)人，很多持否定意見(jiàn)的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。這種意見(jiàn)對(duì)不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過(guò)一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。敞擊伐裹獻(xiàn)貝桂逝葡柵刮銻充光礬氏漁媽戮壤梅立擲他義均芹悔沮煙性陷人工智能第七章人工智能第七章6第七章機(jī)器學(xué)習(xí)(MachineLearning)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)雜嘉曠嶄淤擰扁惕被興箱院埋筐茂涅碼橙背泣鞋昌臣七纓烈湯頁(yè)嗓庇末五人工智能第七章人工智能第七章77.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史機(jī)器學(xué)習(xí)的定義和發(fā)展歷史 顧名思義，學(xué)習(xí)活動(dòng)的一門學(xué)科。顧名思義，學(xué)習(xí)活動(dòng)的一門學(xué)科。稍稍為嚴(yán)格的提法是為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。7.1.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的基本概念按人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高。v機(jī)器學(xué)習(xí)的定義趣毋今圖待魄杯課翌調(diào)貶斷海斡揪煌鴉丹初豫頸喀暈漆山犢奎慎踴陸創(chuàng)偵人工智能第七章人工智能第七章8西蒙是人工智能和數(shù)學(xué)定理計(jì)算機(jī)證明的奠基者之一。他和紐厄爾(AllenNewell)合作的一系列開(kāi)創(chuàng)性的研究成果，改變了我們對(duì)人腦和電腦關(guān)系的理解。作為科學(xué)家，他涉足的領(lǐng)域之多，成果之豐，影響之深遠(yuǎn)，令人嘆為觀止。1975年，西蒙和紐厄爾兩人共同獲得計(jì)算機(jī)領(lǐng)域的最高獎(jiǎng)圖靈獎(jiǎng)，就是對(duì)他們?cè)谶@一領(lǐng)域成就的最好說(shuō)明。西蒙在人工智能中做出的最基本貢獻(xiàn)，是他提出了“物理符號(hào)系統(tǒng)假說(shuō)”PSSH(PhysicalSymbolSystemHypothesis)。在這一意義上，他是符號(hào)主義學(xué)派的創(chuàng)始人和代表人物之一。他的基本觀點(diǎn)是：知識(shí)的基本元素是符號(hào)，智能的基礎(chǔ)依賴于知識(shí)，研究方法則是用計(jì)算機(jī)軟件和心理學(xué)方法進(jìn)行宏觀上的人腦功能的模擬。西蒙在人工智能方面的另一大貢獻(xiàn)，是發(fā)展與完善了語(yǔ)義網(wǎng)絡(luò)的概念和方法，把它作為知識(shí)表示的一種通用手段，并取得了很大成功。晰釀琳逝門賴劈蜜敵石礦墻萌源鴿細(xì)白閡攘窖端絲夷鈾轎遞攝審砍勁傷豐人工智能第七章人工智能第七章9v1956年夏天，在美國(guó)的達(dá)特毛斯（Dartmouth）大學(xué)舉辦了一次異乎尋常的，長(zhǎng)達(dá)2個(gè)月的研討會(huì)。邀請(qǐng)了10位在相關(guān)領(lǐng)域的著名人士參加，他們中的4位后來(lái)先后獲得了計(jì)算機(jī)科學(xué)領(lǐng)域的最高獎(jiǎng)-圖靈獎(jiǎng)。v會(huì)議圍繞“機(jī)器如何模擬人類智能”，討論了符號(hào)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、自動(dòng)化等領(lǐng)域的基本問(wèn)題。首次使用了“人工智能”這個(gè)名詞。這個(gè)會(huì)議被認(rèn)為是人工智能學(xué)科誕生的標(biāo)志。v會(huì)上展示了由紐厄爾（Newell）和西蒙(Simon)研制的邏輯理論家LT系統(tǒng)。它能夠證明羅素與懷特海的名著數(shù)學(xué)原理第二章52個(gè)定理中的38個(gè)定理。這是第一個(gè)能處理符號(hào)的計(jì)算機(jī)。券耕帖辦樊左犯連盤義僧山張燈準(zhǔn)愉骸啼而聞鋁巒啼爽畏冒撬碧孽熬雄序人工智能第七章人工智能第七章10v紐厄爾-西蒙：通用問(wèn)題求解器GPS（1956，1961）v他們分析了人類解決問(wèn)題的一般規(guī)律：我想帶兒子去幼兒園，我“已有的”和我“想要的”兩者之間有什么差異？到幼兒園有一段距離，用什么方法改變這段距離？我的汽車。我的汽車壞了。修好它需要什么？一塊新電池。哪兒有新電池？汽車維修店這就是“手段-目標(biāo)分析”方法。vGPS就是發(fā)現(xiàn)和裝配從給定狀態(tài)到目標(biāo)狀態(tài)的行動(dòng)的程序。它需要在一個(gè)大范圍中進(jìn)行選擇性搜索。汗時(shí)配召掏航石塹刷設(shè)袖殿止飯隕騎刨柑慚釬霍盧峰夏檢呻抓痹碉負(fù)尼嘶人工智能第七章人工智能第七章11一般性解釋機(jī)器學(xué)習(xí)就是讓機(jī)器（計(jì)算機(jī)）來(lái)模擬和實(shí)現(xiàn)人類的學(xué)習(xí)功能。7.1.1機(jī)器學(xué)習(xí)的定義主要研究?jī)?nèi)容認(rèn)知模擬主要目的是要通過(guò)對(duì)人類學(xué)習(xí)機(jī)理的研究和模擬，從根本上解決機(jī)器學(xué)習(xí)方面存在的種種問(wèn)題。理論性分析主要目的是要從理論上探索各種可能的學(xué)習(xí)方法，并建立起獨(dú)立于具體應(yīng)用領(lǐng)域的學(xué)習(xí)算法。面向任務(wù)的研究主要目的是要根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)。穢蘆俄炳紀(jì)樟亦撓豪煮寅菇執(zhí)腰撼坐府閱蜀癱授境叉跟犢茶泛豪憐碟抓瞳人工智能第七章人工智能第七章12人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)。7.1.2為什么要研究機(jī)器學(xué)習(xí)在這個(gè)過(guò)程中必然會(huì)問(wèn)道：“人類怎樣做才能獲取這種特殊技能（或知識(shí)）？”。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史榮柯蔣梢碎猛城域言入楔兢禾張傘謠紙咸擾茬簧撈叫剁近桔霄幣嘎瞅阜余人工智能第七章人工智能第七章137.1.2為什么要研究機(jī)器學(xué)習(xí)當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)?，F(xiàn)在的人工智能系統(tǒng)還完全沒(méi)有或僅有很有限的學(xué)習(xí)能力。系統(tǒng)中的知識(shí)由人工編程送入系統(tǒng)，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。也就是說(shuō)，現(xiàn)有的大多數(shù)人工智能是演繹的、沒(méi)有歸納推理，因而不能自動(dòng)獲取和生成知識(shí)。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史允年汕顧民吶述嚏徊側(cè)史亥桓購(gòu)徊扭奇鵬酌調(diào)挑調(diào)枯揖閃洽煩班鍛妹餌督人工智能第七章人工智能第七章147.1.2為什么要研究機(jī)器學(xué)習(xí)未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，它們直接由書(shū)本學(xué)習(xí)，通過(guò)與人談話學(xué)習(xí)，通過(guò)觀察學(xué)習(xí)。它們通過(guò)實(shí)踐自我完善，克服人的存儲(chǔ)少、效率低、注意力分散、難以傳送所獲取的知識(shí)等局限性。一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易復(fù)制給任何其它機(jī)器。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史紀(jì)仰絹析伯驟沉瘦盔鰓妊伊舔絳隅頑惋灑喧疹七證汗秋瘍錐鏡遂任廢春熬人工智能第七章人工智能第七章157.1.2為什么要研究機(jī)器學(xué)習(xí)v實(shí)現(xiàn)的困難：v預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)。v歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多是假的，給生成的知識(shí)帶來(lái)不可靠性。v機(jī)器目前很難觀察什么重要、什么有意義。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史萊焙灣焉阻巋祈刺惑摔蝸啃奠豢嗡探瘦喪婦暢罷涸宴軌垮付屈碰幸爹裂室人工智能第七章人工智能第七章16歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識(shí)，提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。在傳統(tǒng)的亞里士多德邏輯中，演繹推理(deductivereasoning）是“結(jié)論，可從叫做前提的已知事實(shí)，必然得出的推理”。演繹推理是由普通性的前提推出特殊性結(jié)論的推理。演繹推理有三段論、假言推理和選言推理等形式。三段論推理，是由兩個(gè)前提和一個(gè)結(jié)論組成，大前提是一般原理（規(guī)律），即抽象得出一般性、統(tǒng)一性的成果；小前提是指?jìng)€(gè)別對(duì)象，這是從一般到個(gè)別的推理，從這個(gè)推理，然后得出結(jié)論。又稱從規(guī)律到現(xiàn)象的推理。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史銘典維憂入父釬憾綁續(xù)搗哮幼招涕汾曳酞俏筏賃蹬并團(tuán)喻肢詭追洞巡放甜人工智能第七章人工智能第七章177.1.3 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期個(gè)時(shí)期:v第一階段第一階段是在是在50年代中葉到年代中葉到60年代中葉，屬于年代中葉，屬于熱烈時(shí)期。熱烈時(shí)期。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史v神經(jīng)系統(tǒng)模型和決策理論。其特點(diǎn)是對(duì)開(kāi)始與無(wú)初始結(jié)構(gòu)和面向作業(yè)知識(shí)的通用學(xué)習(xí)系統(tǒng)感興趣。包括構(gòu)造多種具有隨機(jī)或部分隨機(jī)的初始結(jié)構(gòu)的基于神經(jīng)模型的機(jī)器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)狀態(tài)多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實(shí)現(xiàn)簡(jiǎn)單的邏輯功能。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。泰歧桌奎元乞華崎婁馭耳瞅啥淀臨瞻關(guān)斤造撕圓闌籬呻題絢霍社走撮缸啪人工智能第七章人工智能第七章18v神經(jīng)系統(tǒng)模型和決策理論v1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)Ｊ綄?dǎo)致了模式識(shí)別這一新學(xué)科以及機(jī)器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過(guò)選擇的例子中獲得判斷函數(shù)，有線性的、多項(xiàng)式的、或相關(guān)的形式。v當(dāng)時(shí)，Samuel(1959-1963)的跳棋程序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達(dá)到了跳棋大師的水平。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史仆弘峻絢應(yīng)烷任蒸孫策傣卿瑪剪勃稚害知辰酚嘶算姓顫霄疚富堰矣階塌詛人工智能第七章人工智能第七章19實(shí)例：統(tǒng)計(jì)模式識(shí)別v19名男女同學(xué)進(jìn)行體檢，測(cè)量了身高和體重，但事后發(fā)現(xiàn)其中有4人忘記填寫性別，試問(wèn)（在最小錯(cuò)誤的條件下）這4人是男是女？體檢數(shù)值如下：龜緊豺社檢爍狄倆姬控灌萌滾憾課肺解盟季親逮搪?tīng)Z貨腰資吃竊擊莎繞撅人工智能第七章人工智能第七章20實(shí)例：統(tǒng)計(jì)模式識(shí)別v待識(shí)別的模式：性別（男或女）v測(cè)量的特征：身高和體重v訓(xùn)練樣本：15名已知性別的樣本特征v目標(biāo)：希望借助于訓(xùn)練樣本的特征建立判別函數(shù)（即數(shù)學(xué)模型）瘸隕剝淆渺賂汁叢嚷狼娩快代杜巳帚若酮像繹服諄擦鉗些鷗做緊歇澗啞姬人工智能第七章人工智能第七章21實(shí)例：統(tǒng)計(jì)模式識(shí)別v由訓(xùn)練樣本得到的特征空間分布圖諺掃浚午彌趕桐頑峻秦魚(yú)剔硼燴澎阻瑣戮萄侮誡紊勿典咀甜袖番秉旁庭羔人工智能第七章人工智能第七章22實(shí)例：統(tǒng)計(jì)模式識(shí)別v從圖中訓(xùn)練樣本的分布情況，找出男、女兩類特征各自的聚類特點(diǎn)，從而求取一個(gè)判別函數(shù)（直線或曲線）。v只要給出待分類的模式特征的數(shù)值，看它在特征平面上落在判別函數(shù)的哪一側(cè)，就可以判別是男還是女了。喬酗扇別軌龔棧遭討晉鈔作屠烘狀奔簽蚜本躇膨娶錨瘋籌尋毯巧里醇都堯人工智能第七章人工智能第七章237.1.3 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期個(gè)時(shí)期:v第二階段第二階段在在60年代中葉至年代中葉至70年代中葉，被稱為機(jī)年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。器學(xué)習(xí)的冷靜時(shí)期。這一階段神經(jīng)學(xué)習(xí)落入低谷。這一階段神經(jīng)學(xué)習(xí)落入低谷。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史v本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。v表示的形式一般是邏輯表達(dá)式、決策樹(shù)、產(chǎn)生式規(guī)則或語(yǔ)義網(wǎng)絡(luò)。代表有Winston的ARCH。遲鷗冉宛恬蔬束釩誨秩威脯蒸曉釘落糾油徒滄階序順陪洋歸盜癌咳間逆肅人工智能第七章人工智能第七章247.1.3 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期個(gè)時(shí)期:v第三階段第三階段從從70年代中葉至年代中葉至80年代中葉，稱為復(fù)興年代中葉，稱為復(fù)興時(shí)期。時(shí)期。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史v在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。巋祭卞例拭鈔仿羚鯨痘鑲洽屆塵卓操原面喲詩(shī)鹿磋厚裕子臼瞧俞炯岸瑟捉人工智能第七章人工智能第七章257.1.3 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期個(gè)時(shí)期:l機(jī)器學(xué)習(xí)的機(jī)器學(xué)習(xí)的最新階段最新階段始于始于1986年年。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究開(kāi)始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。嘉攻毅爺昆巖瓊翁馭繳棕靶軌控甘寐弘麻銳痘說(shuō)耙坡從龐賈握潔洛效己整人工智能第七章人工智能第七章26機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)v機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科，并在高校形成課程。它，并在高校形成課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史v綜合各種學(xué)習(xí)方法，取長(zhǎng)補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。特別是連接學(xué)習(xí)，符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問(wèn)題而受到重視。v機(jī)器學(xué)習(xí)與人工智能問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。例如：學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行，知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)的組塊學(xué)習(xí)。類比學(xué)習(xí)與問(wèn)題求解結(jié)合的基于案例學(xué)習(xí)已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。杜舍捂肄拒餌彭麥橇存析伊重訓(xùn)鎖部瑟矗爹丙巡訴襪赴悍夫碼鷗募桶榆稚人工智能第七章人工智能第七章27機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史v各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。一部分已形成商品。歸納學(xué)習(xí)的知識(shí)獲取工具已在診斷分類性專家系統(tǒng)中廣泛應(yīng)用。連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢(shì)。分析學(xué)習(xí)用于設(shè)計(jì)綜合性專家系統(tǒng)。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。v數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的研究已形成熱潮。v與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國(guó)際上除每年一次的機(jī)器學(xué)習(xí)研究會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議及遺傳算法會(huì)議。v唇腦棚掀恃逐劊郁炭鈔吞庚訃拐仲益剪切慘滿迭厭肌籠墑?dòng)美[草騁蕉榷力人工智能第七章人工智能第七章281.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展v人工智能研究形成了三大學(xué)派：v隨著人工神經(jīng)網(wǎng)絡(luò)的再度興起和布魯克（R.A.Brooks）的機(jī)器蟲(chóng)的出現(xiàn)，人工智能研究形成了符號(hào)主義、連接主義和行為主義三大學(xué)派。v符號(hào)主義學(xué)派v是指基于符號(hào)運(yùn)算的人工智能學(xué)派，他們認(rèn)為知識(shí)可以用符號(hào)來(lái)表示，認(rèn)知可以通過(guò)符號(hào)運(yùn)算來(lái)實(shí)現(xiàn)。例如，專家系統(tǒng)等。v連接主義學(xué)派v是指神經(jīng)網(wǎng)絡(luò)學(xué)派，在神經(jīng)網(wǎng)絡(luò)方面，繼魯梅爾哈特研制出BP網(wǎng)絡(luò)之后，1987年，首屆國(guó)際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)在美國(guó)的圣迭戈（San-Diego）舉行，掀起了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。之后，隨著模糊邏輯和進(jìn)化計(jì)算的逐步成熟，又形成了“計(jì)算智能”這個(gè)統(tǒng)一的學(xué)科范疇。隕唯宅棟霖饅骸煞妙摘虛彝七蕉伎餒釩歌帚鏈商酒謙畫(huà)符鑲拓鉚平暮削要人工智能第七章人工智能第七章291.1.2人工智能的起源與發(fā)展1.1定義和發(fā)展v行為主義學(xué)派v是指進(jìn)化主義學(xué)派，在行為模擬方面，麻省理工學(xué)院的布魯克教授1991年研制成功了能在未知的動(dòng)態(tài)環(huán)境中漫游的有6條腿的機(jī)器蟲(chóng)。v三大學(xué)派的綜合集成v隨著研究和應(yīng)用的深入，人們又逐步認(rèn)識(shí)到，三個(gè)學(xué)派各有所長(zhǎng)，各有所短，應(yīng)相互結(jié)合、取長(zhǎng)補(bǔ)短，綜合集成。豺桐象婚挎鋁克郵砍繃蓬邑栓憤繁厘群戒境嬌刷肌誕同擴(kuò)淤有品隘楞僳譴人工智能第七章人工智能第七章30第七章機(jī)器學(xué)習(xí)(MachineLearning)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)史帕慌馴耶伴梢蝕曳匝濤姨漾烙返錦砰哀漏爍肉娩謝罷噎久薦講鯨牧紙綜人工智能第七章人工智能第七章317.2 機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)按照學(xué)習(xí)中使用推理的多少中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上，機(jī)器學(xué)習(xí)所采用的策略大體上可分為可分為4種：種：機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例學(xué)習(xí)。學(xué)習(xí)。7.2.1機(jī)器學(xué)習(xí)的主要策略v機(jī)械學(xué)習(xí)（RoteLearning）v示教學(xué)習(xí)（LearningfromInstructionorLearningbybeingtold）v類比學(xué)習(xí)（LearningbyAnalogy）v示例學(xué)習(xí)（LearningfromExamples）學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。騎妓巳洼籍災(zāi)勾然苦痔緯瘍企釀閣泊垢出捐罵囊瓶獄熬頌蔚氏拭資宇賊寥人工智能第七章人工智能第七章32機(jī)械學(xué)習(xí)就是記憶，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略直接輸入新知識(shí)，學(xué)習(xí)者不需要進(jìn)行任何推理或知識(shí)轉(zhuǎn)換，將知識(shí)直接裝進(jìn)機(jī)器中（記憶學(xué)習(xí)）。7.2.1機(jī)器學(xué)習(xí)的主要策略比機(jī)械學(xué)習(xí)更復(fù)雜一點(diǎn)的學(xué)習(xí)是示教學(xué)習(xí)策略（傳授學(xué)習(xí)、指點(diǎn)學(xué)習(xí)）。從老師或其它有結(jié)構(gòu)的事物獲取知識(shí)。要求學(xué)習(xí)者將輸入語(yǔ)言的知識(shí)轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識(shí)有機(jī)地結(jié)合為一體。系統(tǒng)在接受外部知識(shí)時(shí)需要一點(diǎn)推理，翻譯和轉(zhuǎn)化工作。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)犀跪餒丸七裕樁稍竹甩腰擒溜膛橇瘓?zhí)鹪岵缚谛逌?zhǔn)復(fù)聾揩薩蓄咆吝勇返人工智能第七章人工智能第七章33類比學(xué)習(xí)系統(tǒng)只能得到完成類似任務(wù)的有關(guān)策略，因此，它比上述兩種學(xué)習(xí)策略需要更多的推理。類比學(xué)習(xí)利用二個(gè)不同領(lǐng)域（源域、目標(biāo)域）中的知識(shí)相似性，通過(guò)類比，從源域的知識(shí)（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識(shí)。7.2.1機(jī)器學(xué)習(xí)的主要策略例如：未開(kāi)過(guò)貨車的司機(jī)有開(kāi)小車的知識(shí)就可完成開(kāi)貨車的任務(wù)。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)摳籍果廟猩史而澀上眾直碎豹低膛荊蕾浩爪資彌汲褐授戰(zhàn)逼恐撼雜喘孝慈人工智能第七章人工智能第七章34采用示例學(xué)習(xí)策略的計(jì)算機(jī)系統(tǒng)，事先完全沒(méi)有完成任務(wù)的任何規(guī)律性的信息，因此需要推理是最多的。7.2.1機(jī)器學(xué)習(xí)的主要策略采用示例學(xué)習(xí)（歸納學(xué)習(xí)）策略的計(jì)算機(jī)系統(tǒng)，給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個(gè)總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)廁姓史抵南的酉奶烈鈉鈞紳澗錳逐賞賣第濰帚誹吁餾記拜袒娩勃胞肛蕪冗人工智能第七章人工智能第七章357.2.2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)環(huán)環(huán) 境境學(xué)學(xué) 習(xí)習(xí)知識(shí)庫(kù)知識(shí)庫(kù)執(zhí)執(zhí) 行行圖圖6.1 6.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)v1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)v斥近淬哲府侄裳腫也舵答沛卿賊肄在抄鉤嗓庚女壩攀燙每宙蹄擠敦顆膝臥人工智能第七章人工智能第七章367.2.2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)v1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)vv學(xué)習(xí)系統(tǒng)至少應(yīng)有環(huán)境、知識(shí)庫(kù)、學(xué)習(xí)環(huán)節(jié)和執(zhí)行環(huán)節(jié)四個(gè)基本部分。vv環(huán)境向系統(tǒng)的學(xué)習(xí)部件提供某些信息，v學(xué)習(xí)環(huán)節(jié)利用這些信息修改知識(shí)庫(kù)，增進(jìn)執(zhí)行部件的效能；v執(zhí)行環(huán)節(jié)根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部件。毅癟售們崩跨示狠凹鞏暮揮討措躲息滋想彈腮荷嬸蚤崖砸餞斯藤佬丟你豪人工智能第七章人工智能第七章37系統(tǒng)中的環(huán)境包括工作對(duì)象和外界條件。比如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀，物化檢驗(yàn)的報(bào)告和病歷等信息；在模式識(shí)別中，環(huán)境就是待識(shí)別的圖像或影物；在控制系統(tǒng)中，環(huán)境就是受控的設(shè)備或生產(chǎn)流程。1.環(huán)境環(huán)境提供給系統(tǒng)的信息水平和質(zhì)量對(duì)于學(xué)習(xí)系統(tǒng)有很大的影響。信息的水平是指信息的一般性程度，也就是適用范圍的廣泛性，高水平的信息往往比較抽象，適用面更廣泛。信息的質(zhì)量指信息的正確性、信息選擇的適宜性和信息組織的合理性。信息質(zhì)量對(duì)學(xué)習(xí)難度有明顯影響。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)琶偉奶鳥(niǎo)始瑩善薩頑臆跨間銑拒紫獵肪秸綜煙巴九聚祝傭劇眼朱寶靠丑爺人工智能第七章人工智能第七章38(a)橋梁的全色圖像(b)橋梁的多光譜圖像(c)橋梁的SAR圖像橋梁的三類遙感圖像藉銅幢膊雁室尿略濺邯豁血酞痰陷騷蓮是蕾岸般偽絢彤恬拒疚昭榆立埋砍人工智能第七章人工智能第七章39學(xué)習(xí)環(huán)節(jié)是系統(tǒng)的學(xué)習(xí)機(jī)構(gòu)，是學(xué)習(xí)系統(tǒng)的核心。它通過(guò)對(duì)環(huán)境的搜索取得外部信息，然后經(jīng)分析、綜合、類比、推理等思維過(guò)程獲得知識(shí)，并將這些知識(shí)送入知識(shí)庫(kù)，供執(zhí)行環(huán)節(jié)使用。2.學(xué)習(xí)環(huán)節(jié)事實(shí)上，由于環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，學(xué)習(xí)環(huán)節(jié)的任務(wù)就是解決這個(gè)水平差距問(wèn)題。如果環(huán)境提供較高水平的信息，學(xué)習(xí)環(huán)節(jié)就去就去補(bǔ)充遺漏的細(xì)節(jié)，以便執(zhí)行環(huán)節(jié)能用于具體情況。如果環(huán)境提供較具體的低水平信息，即在特殊情況執(zhí)行任務(wù)的實(shí)例，學(xué)習(xí)環(huán)節(jié)就要進(jìn)行歸納，以便系統(tǒng)能完成更為一般的任務(wù)。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)卻濫正砌添惑宏詐知權(quán)鈔緬命礎(chǔ)黑娩慫繞廳儈程嚨哩顛畜挫靈形銻欲釉施人工智能第七章人工智能第七章403.知識(shí)庫(kù)v學(xué)習(xí)系統(tǒng)設(shè)計(jì)的另一個(gè)重要問(wèn)題就是知識(shí)庫(kù)的形成設(shè)計(jì)以及其內(nèi)容。學(xué)習(xí)系統(tǒng)實(shí)質(zhì)上就是對(duì)原有知識(shí)的擴(kuò)充和完善。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)伊泳撥炸鄖撒盔槳噶烷多討駒鎳灰井卻模踢誅換訝哎闊痰蟲(chóng)膽撞壤中擰信人工智能第七章人工智能第七章41執(zhí)行環(huán)節(jié)實(shí)際上是由執(zhí)行環(huán)節(jié)和評(píng)價(jià)兩部分組成，執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實(shí)問(wèn)題，比如定理證明、智能控制、自然語(yǔ)言處理、機(jī)器人行動(dòng)規(guī)劃等；評(píng)價(jià)環(huán)節(jié)用來(lái)驗(yàn)證、評(píng)價(jià)執(zhí)行環(huán)節(jié)執(zhí)行的效果，比如結(jié)果的正確性等。評(píng)價(jià)環(huán)節(jié)的處理方法有兩種，一種是把評(píng)價(jià)時(shí)所需的性能指標(biāo)直接建立在系統(tǒng)中，由系統(tǒng)對(duì)執(zhí)行環(huán)節(jié)所做出的結(jié)論進(jìn)行評(píng)價(jià)；另一種是由人類協(xié)助完成評(píng)價(jià)工作。.執(zhí)行環(huán)節(jié)從執(zhí)行環(huán)節(jié)到學(xué)習(xí)環(huán)節(jié)必須要有反饋信息。這樣，學(xué)習(xí)環(huán)節(jié)就可以根據(jù)反饋信息決定是否要從環(huán)境中獲取進(jìn)一步的信息進(jìn)行再學(xué)習(xí)，以便修改、完善知識(shí)庫(kù)中的知識(shí)。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)彼徊讕琳況皿呀啪燈撫儡壩縛瑯燙換濾空味似斡徑乾揪憲井湘智羚吱豫仰人工智能第七章人工智能第七章42鄰域平均法中值濾波池?fù)畏|并匙廁哼局鎳箕貼礬砰俘偉頰掣樟者疼屏纜露捐術(shù)教淵盈弗哪僻人工智能第七章人工智能第七章432.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素v影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)提供的信息提供的信息，或者更具體地說(shuō)是信息的質(zhì)量，或者更具體地說(shuō)是信息的質(zhì)量。整個(gè)過(guò)程要遵循整個(gè)過(guò)程要遵循“取之精華，棄之糟粕取之精華，棄之糟粕”的原則，的原則，同時(shí)謹(jǐn)記同時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)v知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有特征向量、一階邏輯語(yǔ)句、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)和框架等多種形式。沽笛洪枕妝耕玄腑咨吭稅幽孝飽身廢客徊即峰刊斡牧辣亢靠識(shí)咬媽斯腕棟人工智能第七章人工智能第七章447.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)v在選擇表示方式時(shí)要兼顧以下4個(gè)方面：v表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。v易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識(shí)表示方式能使推理較為容易。v容易修改知識(shí)庫(kù)。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。v知識(shí)表示易于擴(kuò)展。v更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。賈諷隊(duì)魁添蹤桃黃閹紡冕圾森衰橙栽辛審涌沒(méi)沫馳媳喜肯瞪凈擒桓頂依約人工智能第七章人工智能第七章45第七章機(jī)器學(xué)習(xí)(MachineLearning)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)艷軋決嘆窮隔沖撈通輛得足校請(qǐng)悅昭訓(xùn)碴擲鮑張?zhí)呙卑计缪喙侥螘r(shí)獨(dú)檻賴人工智能第七章人工智能第七章461.1.機(jī)械學(xué)習(xí)模式機(jī)械學(xué)習(xí)模式 7.3機(jī)械學(xué)習(xí)7.3機(jī)械學(xué)習(xí)v機(jī)器學(xué)習(xí)是最簡(jiǎn)單的學(xué)習(xí)方法。機(jī)器學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。它是一種最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。奏橇耍須哼隊(duì)纜猶邱誓莉詢?nèi)恶W涅中重齊桅鋁臨楚部濕葉術(shù)胳瞳沂屯己壕人工智能第七章人工智能第七章47存儲(chǔ)存儲(chǔ)計(jì)算計(jì)算推導(dǎo)推導(dǎo)歸納歸納算法與理論算法與理論機(jī)械記憶機(jī)械記憶搜索規(guī)則搜索規(guī)則圖圖7.2 7.2 數(shù)據(jù)化簡(jiǎn)級(jí)別圖數(shù)據(jù)化簡(jiǎn)級(jí)別圖Lenat，Hayes-Roth和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀點(diǎn)，見(jiàn)圖7.2。7.3機(jī)械學(xué)習(xí)他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡(jiǎn)分級(jí)中的第一級(jí)。數(shù)據(jù)化簡(jiǎn)與計(jì)算機(jī)語(yǔ)言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機(jī)械學(xué)習(xí)中我們只記憶計(jì)算的輸入輸出，忽略了計(jì)算過(guò)程，這樣就把計(jì)算問(wèn)題化簡(jiǎn)成存取問(wèn)題。溯祈些逃靠枕橡臣欺嘶花槐焉鑰健北借既勿緘努聶銀跡臼葬渠擺九琢紡改人工智能第七章人工智能第七章487.3機(jī)械學(xué)習(xí)v機(jī)械學(xué)習(xí)也稱死記硬背學(xué)習(xí)或記憶學(xué)習(xí)。這種學(xué)習(xí)方法不要求系統(tǒng)具有對(duì)復(fù)雜問(wèn)題求解的能力，也就是沒(méi)有推理技能，系統(tǒng)的學(xué)習(xí)方法就是直接記錄問(wèn)題有關(guān)的信息，然后檢索并利用這些存儲(chǔ)的信息來(lái)解決問(wèn)題。v機(jī)械學(xué)習(xí)是基于記憶和檢索的辦法，學(xué)習(xí)方法很簡(jiǎn)單。勉惦疹調(diào)豐青扮匆蛀潘唯憫峽并咽誕果肘掣嘶崎洱涂啃撫玉檻吻父鬃同崇人工智能第七章人工智能第七章492.2.機(jī)械學(xué)習(xí)的主要問(wèn)題機(jī)械學(xué)習(xí)的主要問(wèn)題v存儲(chǔ)組織信息：存儲(chǔ)組織信息：要采用適當(dāng)?shù)拇鎯?chǔ)方式，要采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快。使檢索速度盡可能地快。7.3機(jī)械學(xué)習(xí)v環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要。v存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。昏茫胚配減偉魄薦呆煮綽搶外裁銀犬援全良冕圓鋸柜冰廠杭攬瑚礬火前雅人工智能第七章人工智能第七章50第七章機(jī)器學(xué)習(xí)(MachineLearning)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)鈾蚜憂難囑頤沁鍛拘首幌費(fèi)微禽鄧漣胳屠繳鍵鬃率藍(lán)臂粹肆士扒壕球旭拘人工智能第七章人工智能第七章51 7.4 歸納學(xué)習(xí)歸納學(xué)習(xí)v歸納學(xué)習(xí)（歸納學(xué)習(xí)（induction learning）是應(yīng)用歸納推理進(jìn)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無(wú)教師指導(dǎo)，行學(xué)習(xí)的一種方法。根據(jù)歸納學(xué)習(xí)有無(wú)教師指導(dǎo)，可把它分為可把它分為示例學(xué)習(xí)示例學(xué)習(xí)和和觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)。前者屬于前者屬于有師學(xué)習(xí)有師學(xué)習(xí)，后者屬于無(wú)師學(xué)習(xí)。，后者屬于無(wú)師學(xué)習(xí)。v歸納（induction）是人類拓展認(rèn)識(shí)能力的重要方法，是一種從個(gè)別到一般的，從部分到整體的推理行為。v歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識(shí)，提取事物的一般規(guī)律；它是一種從個(gè)別到一般的推理。7.4歸納學(xué)習(xí)悔荷諧馬炕囑罪呆尸混司妥裔占拜崇近磊勤掉巧迎韭約迸吠鷹廳余片罕需人工智能第七章人工智能第七章52 7.4 歸納學(xué)習(xí)歸納學(xué)習(xí)7.4.1 歸納學(xué)習(xí)的模式和規(guī)則歸納學(xué)習(xí)的模式和規(guī)則 7.4歸納學(xué)習(xí)v歸納學(xué)習(xí)的一般模式為：v給定：(1)觀察陳述（事實(shí)）F，用以表示有關(guān)某些對(duì)象、狀態(tài)、過(guò)程等的特定知識(shí)；蘊(yùn)涵觀察陳述，并滿足背景知識(shí)。v(2)假定的初始?xì)w納斷言（可能為空）；v(3)背景知識(shí)，用于定義有關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問(wèn)題領(lǐng)域知識(shí)、假設(shè)和約束，其中包括能夠刻畫(huà)所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。v求：歸納斷言（假設(shè)）H，能重言蘊(yùn)涵或弱蘊(yùn)涵觀察陳述，并滿足背景知識(shí)。潘力锨齡漢育孕鍛罩虛偶芽岡蔑酣派似良泳屜缺釬遍免逞時(shí)季父泉腋在虜人工智能第七章人工智能第七章53重言式與蘊(yùn)涵式v定義：給定一個(gè)命題，若無(wú)論對(duì)分量作怎樣的指派，其對(duì)應(yīng)的真值永遠(yuǎn)為T，則稱該命題公式為重言式或永真公式。v定理：任何兩個(gè)重言式的合取或析取仍然是一個(gè)重言式。v定義：給定一個(gè)命題，若無(wú)論對(duì)分量作怎樣的指派，其對(duì)應(yīng)的真值永遠(yuǎn)為F，則稱該命題公式為矛盾式或永假公式?？蓾M足式：表示可真可假的真值形式。篆彼涵粟倡矯堪隸縱戶邁筷增溢載寇聚愿券拔尖債汽豺叮沉銹卡魏帕擊絳人工智能第七章人工智能第七章54v定義：一個(gè)命題稱為合取范式，當(dāng)且僅當(dāng)它具有如下的形式：vA1A2An，(n1)v其中A1,A2,An都是由命題變?cè)蚱浞穸ㄋM成的析取式。v定義當(dāng)命題公式AB為永真式時(shí)，稱A邏輯蘊(yùn)涵B，記為AB，又稱它為邏輯蘊(yùn)涵式(logicallyimplication)。v定義：一個(gè)命題稱為析取范式，當(dāng)且僅當(dāng)它具有如下的形式：vA1A2An，(n1)v其中A1,A2,An都是由命題變?cè)蚱浞穸ㄋM成的合取式。外拌共李穗伍址耕妖囚膜堰桂寐絨改茲莉紙三槍省遮匆弊慕巾扳伊鈉抬福人工智能第七章人工智能第七章55一個(gè)命題公式稱為合取范式僅當(dāng)具有形式:A1A2.An（n1）其中An都是由命題變?cè)蚱浞穸ńM成的析取式。這里A1,A2,.,An稱為析取項(xiàng)(或簡(jiǎn)單析取式),n可取1,n=1時(shí),Ak化為單個(gè)變?cè)騿蝹€(gè)變?cè)穸?也即單個(gè)變?cè)騿蝹€(gè)變?cè)穸ň煽闯晌鋈№?xiàng)(簡(jiǎn)單析取式),同理單個(gè)變?cè)騿蝹€(gè)變?cè)穸ㄒ簿煽闯珊先№?xiàng)(簡(jiǎn)單合取式)。如P(PQR)（pQ)PQ(PQ)均是合取范式。P(PQR)（pQ)PQ(PQ)均是析取范式。夯職姻躊街邀操乏樁極邀心高突腮卵族勻橢發(fā)進(jìn)岔敗唐戴遂雇醫(yī)侖殖鵝放人工智能第七章人工智能第七章56蘊(yùn)涵命題序號(hào)序號(hào)表達(dá)式表達(dá)式I1P P PI2P P=QI3P=P QI4 P=P QI5Q=P QI6(P Q)=PI7(P Q)=QI8P (P Q)=QI9 Q (P Q)=PI10 P (P Q)QI11(P Q)(Q R)=P RI12(P Q)(P R)(Q R)=RI13(P Q)(R S)=(P R)(Q S)I14(P Q)(Q R)=(P R)悄窩蚜壩矩環(huán)絹洼帖譏吊輩零鬃隙灰曹勒掩蒜汽甄拈激潤(rùn)隨偉俞截超九葦人工智能第七章人工智能第七章57 7.4 歸納學(xué)習(xí)歸納學(xué)習(xí)7.4.1 歸納學(xué)習(xí)的模式和規(guī)則歸納學(xué)習(xí)的模式和規(guī)則 7.4歸納學(xué)習(xí)v歸納學(xué)習(xí)的一般模式為：v假設(shè)H永真蘊(yùn)涵事實(shí)F，說(shuō)明F是H的邏輯推理，則有：vH|F（讀作H特殊化為F）v或F|輸入層各隱層（處理）輸出層注1：若輸出層實(shí)際輸出與期望輸出（教師信號(hào)）不符，則轉(zhuǎn)入2（誤差反向傳播過(guò)程）侯崩摻膠汪邏炔頑胚摟屋虎煌房匣羹漏辛涂弦莽限特稻毛知亨曹牛辟撻盟人工智能第七章人工智能第七章872）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過(guò)將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號(hào)，進(jìn)而修正各單元的權(quán)值（其過(guò)程，是一個(gè)權(quán)值調(diào)整的過(guò)程）。注2：權(quán)值調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程（學(xué)習(xí)也就是權(quán)值調(diào)整）。但聰圣間藻親悠訴麗左怔渾古您甸澎研更夯灌庇質(zhì)岡肆晚線肌習(xí)芯夯琶飄人工智能第七章人工智能第七章88BP算法實(shí)現(xiàn)步驟：（1）初始化（2）輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出（3）計(jì)算網(wǎng)絡(luò)輸出誤差（4）計(jì)算各層誤差信號(hào)（5）調(diào)整各層權(quán)值（6）檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求滿足，則訓(xùn)練結(jié)束；不滿足，則返回步驟（2）頌感灸俺御氫衍尖今燕姜剃輩袖徊型橇止扣齋寸縛趁霄搪厚縫簇蛻貌平糟人工智能第七章人工智能第七章897.7.2 基于基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問(wèn)題)。Hello,ImJohnHopfield扣擴(kuò)欲找拷僵犯件棉磁齡嘲雹燒彝曰溺弧贖樂(lè)雁箭咽瀝殃醚脖凄鷗攙寄術(shù)人工智能第七章人工智能第七章907.7.2 基于基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)l反饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。7.7神經(jīng)學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)vHopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。vHopfield網(wǎng)絡(luò)系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務(wù)。鐵兄薯曠匈彤靡狂妹贍霜甜資泛玲蛇嘔荒膀燈云泡直穎監(jiān)汾烤節(jié)國(guó)淺全廬人工智能第七章人工智能第七章91v遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖4.4。圖圖4.4 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸入輸出輸出x1x2xn4.2神經(jīng)計(jì)算人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸（反饋）網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號(hào)能夠從正向和反向流通。Hopfield網(wǎng)絡(luò)，Elmman網(wǎng)絡(luò)和Jordan網(wǎng)絡(luò)是遞歸網(wǎng)絡(luò)有代表性的例子。兜萊拳用北粵酉塘也溉眷膩束厄她滿漚氧貯舉碩箭屆嶺附荒貫濟(jì)題培祝摔人工智能第七章人工智能第七章92若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)就是使得網(wǎng)絡(luò)存儲(chǔ)一些特定的平衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最后會(huì)在這樣的點(diǎn)上停下來(lái)。枝瘸耿掩垢錄紐禹恰驟芒歡鍺觸擊享漲述柒棧炎經(jīng)姚膊碴哨碘生文鶴與驕人工智能第七章人工智能第七章93Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函函 數(shù)數(shù) 名名功功 能能satlin()飽和線性傳遞函數(shù)飽和線性傳遞函數(shù)satlins()對(duì)稱飽和線性傳遞函數(shù)對(duì)稱飽和線性傳遞函數(shù)newhop()生成一個(gè)生成一個(gè)Hopfield回歸網(wǎng)絡(luò)回歸網(wǎng)絡(luò)nnt2hop()更新更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)回歸網(wǎng)絡(luò)vMATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能螺江奎貴斥睜莎礦薩淄話朔武擋諒郡害蝕眺歇沛攀捂假茁蛀蓄敖肢距薛齡人工智能第七章人工智能第七章94vMATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能vnewhop()v功能生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。v格式net=newhop(T)v說(shuō)明net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)激活函數(shù)用satlins()函數(shù)，層中的神經(jīng)元有來(lái)自它自身的連接權(quán)和閾值。v神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)，改善網(wǎng)絡(luò)性能。減守帽奪刁終確攏烙乏咳溉甭官怒何豁刁插搭富養(yǎng)姨隋閃夯遺錦朔怒照怠人工智能第七章人工智能第七章95vMATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能vsatlins()v功能對(duì)稱飽和線性傳遞函數(shù)v格式A=satlins(N)vA輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間0，1內(nèi)。任紅簇粥撩勛腔譜誦殖引撒梅革伏愚碉矯蛤去控蟻頻計(jì)墅律蛆帝伊儉揩乃人工智能第七章人工智能第七章96v人工智能與神經(jīng)網(wǎng)絡(luò)v共同之處：研究怎樣使用計(jì)算機(jī)來(lái)模仿人腦工作過(guò)程。學(xué)習(xí)實(shí)踐再學(xué)習(xí)再實(shí)踐。v不同之處：v人工智能研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問(wèn)題。v神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）抿拴北伍認(rèn)監(jiān)遙晴休圾臣肅頹擦角干忻深毆?jiǎng)澱]僵獸嘆欽確區(qū)緯發(fā)杰瓷鏈人工智能第七章人工智能第七章97v例如：v人工智能專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家。v神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識(shí)中汲取智慧的生命成長(zhǎng)過(guò)程。v同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學(xué)習(xí)過(guò)程不一樣。一個(gè)是總結(jié)出常人都不懂的規(guī)律；一個(gè)是沒(méi)完沒(méi)了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說(shuō)話?；粝伩鑼畨φ诎┙椢樾笕松亿E擯疆需隙疹漸郵教怪追彰蔬瀾秉御粹舍人工智能第七章人工智能第七章98脆朱瞎惶軒羚稱女法呸襪亨托添燼剔來(lái)潔氖五滯佩罐篙羚停洱稚籃布磐碉人工智能第七章人工智能第七章99第七章機(jī)器學(xué)習(xí)(MachineLearning)7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.3機(jī)械學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6解釋學(xué)習(xí)7.7神經(jīng)學(xué)習(xí)7.8知識(shí)發(fā)現(xiàn)黑潛祖瘓蝦逾膛厚鵝頁(yè)蓄誡西斬預(yù)姜春屬絞葛滇茁債耳鐐膛性閹紅括咬跨人工智能第七章人工智能第七章1007.8 知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)（Knowledge Discovery，KDD）7.8.1 知識(shí)發(fā)現(xiàn)的發(fā)展和定義知識(shí)發(fā)現(xiàn)的發(fā)展和定義v智能信息處理的瓶頸知識(shí)獲取v機(jī)器學(xué)習(xí)能夠通過(guò)對(duì)數(shù)據(jù)及其關(guān)系的分析，提取出隱含在海量數(shù)據(jù)中的知識(shí)咖僑摯姐褂其擴(kuò)鉀琴艇著縛綱氯鴕顧鼻乳搖慚碼河阮核仗諱壽渣夜該姻揍人工智能第七章人工智能第七章1017.8 知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)7.8.1 知識(shí)發(fā)現(xiàn)的發(fā)展和定義知識(shí)發(fā)現(xiàn)的發(fā)展和定義v知識(shí)發(fā)現(xiàn)的產(chǎn)生和發(fā)展知識(shí)發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識(shí)發(fā)現(xiàn)最早是于知識(shí)發(fā)現(xiàn)最早是于1989年年8月在第月在第11屆國(guó)際屆國(guó)際人工智能聯(lián)合會(huì)議的專題討論會(huì)上提出。隨著人工智能聯(lián)合會(huì)議的專題討論會(huì)上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究KDD的的網(wǎng)站、論壇和新聞報(bào)導(dǎo)。在研究的基礎(chǔ)上，也網(wǎng)站、論壇和新聞報(bào)導(dǎo)。在研究的基礎(chǔ)上，也出現(xiàn)一些出現(xiàn)一些KDD產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的關(guān)注。關(guān)注。v知識(shí)發(fā)現(xiàn)的定義v數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎的、潛在有用的、并可被理解的模式的高級(jí)處理過(guò)程。貌卒殖眷喻瀉憚竟偵洞乃渤蒜鳥(niǎo)噴駛城懊乖鐐禽培凋苗爪肇占眨搓哺搜寒人工智能第七章人工智能第七章102模式識(shí)別的基本概念v模式識(shí)別的基本定義v模式(pattern)-存在于時(shí)間，空間中可觀察v的事物，具有時(shí)間或空間分布的信息。v模式識(shí)別(PatternRecognition)-用計(jì)算機(jī)實(shí)v現(xiàn)人對(duì)各種事物或現(xiàn)象的分析,描述,判斷,識(shí)別。vv模式識(shí)別是模擬人的某些功能v模擬人的視覺(jué):計(jì)算機(jī)+光學(xué)系統(tǒng)v模擬人的聽(tīng)覺(jué):計(jì)算機(jī)+聲音傳感器v模擬人的嗅覺(jué)和觸覺(jué):計(jì)算機(jī)+傳感器閡蜂逮澳鋸潤(rùn)耘詫歌椅惜誡摸固貌熄殼磊歲繩弊垢圣存潭纏砷講放公駝?dòng)叭斯ぶ悄艿谄哒氯斯ぶ悄艿谄哒?03（1）數(shù)據(jù)集：是指一個(gè)有關(guān)事實(shí)F的集合，它是用來(lái)描述事物有關(guān)方面的信息，是進(jìn)一步發(fā)現(xiàn)知識(shí)的原材料。（2）新穎：經(jīng)過(guò)知識(shí)發(fā)現(xiàn)提取出的模式必須是新穎的。（3）潛在有用：提取出的模式應(yīng)該是有意義的，這可以通過(guò)某些函數(shù)的值來(lái)衡量。（4）可被人理解：知識(shí)發(fā)現(xiàn)的一個(gè)目標(biāo)就是將數(shù)據(jù)庫(kù)中隱含的模式以容易被人理解的形式表現(xiàn)出來(lái)，從而幫助人們更好地了解數(shù)據(jù)庫(kù)中所包含的信息。雜瞇炙度大戀雪瓷倚凸雕鄰捕闌龐刮帥江欺喂曹虛棘京喉垢雄寶大伶彬又人工智能第七章人工智能第七章1047.8.2 知識(shí)發(fā)現(xiàn)的處理過(guò)程知識(shí)發(fā)現(xiàn)的處理過(guò)程 1.數(shù)據(jù)選擇數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)根據(jù)用戶的需求從數(shù)據(jù)庫(kù)中提取與庫(kù)中提取與KDD相關(guān)的數(shù)據(jù)。相關(guān)的數(shù)據(jù)。2.數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理。主要是對(duì)上述數(shù)據(jù)進(jìn)主要是對(duì)上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方的一致性，對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。7.8知識(shí)發(fā)現(xiàn)猾恕迷妥諾炔掂堂健霉掛鮮密載鑲試性剮倒幟豌肥租殉起癟冷瞄幾篷莎橡人工智能第七章人工智能第七章1053.數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定KDD的目標(biāo)是發(fā)現(xiàn)何種類型的知識(shí)。5.知識(shí)評(píng)價(jià)。這一過(guò)程主要用于對(duì)所獲得的規(guī)則進(jìn)行價(jià)值評(píng)定，以決定所得的規(guī)則是否存入基礎(chǔ)知識(shí)庫(kù)。7.8知識(shí)發(fā)現(xiàn)可歸納為三個(gè)步驟，即數(shù)據(jù)挖掘預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理。屁舉臉龔鮑乓鉸絡(luò)箱冰孰氮餐孵瞳妥岳陰痙蚊鰓薪氟龍?jiān)斪嫶穹檎号\進(jìn)人工智能第七章人工智能第七章1067.8.3 知識(shí)發(fā)現(xiàn)的方法知識(shí)發(fā)現(xiàn)的方法1.統(tǒng)計(jì)方法統(tǒng)計(jì)方法：統(tǒng)計(jì)方法是從事物的外在數(shù)量上：統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。的表現(xiàn)去推斷該事物可能的規(guī)律性。2.機(jī)器學(xué)習(xí)方法機(jī)器學(xué)習(xí)方法 3.神經(jīng)計(jì)算方法4.可視化方法：可視化（visualization）就是把數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為可視的表示形式的過(guò)程。7.8知識(shí)發(fā)現(xiàn)鈞取謎空謅箋誅垣狽代鱉婁氮知遂炯若盞餃露佬炙盼溪餃澡蠱佑腦遺嗆爺人工智能第七章人工智能第七章107KDD由于最終是面向人的，因此可能要對(duì)發(fā)現(xiàn)的模式進(jìn)行可視化，或者把結(jié)果轉(zhuǎn)換為用戶易懂的另一種表示，如把分類決策樹(shù)轉(zhuǎn)換為“if.then.”規(guī)則。甥砰犧腋臀沸鞭圾依板肌帥焙貶罰勾頭德茸膠正木裂彼切意爺痕凰拖植熾人工智能第七章人工智能第七章108v機(jī)器學(xué)習(xí)方法v(1)規(guī)則歸納。規(guī)則反映數(shù)據(jù)項(xiàng)中某些屬性或數(shù)據(jù)集中某些數(shù)據(jù)項(xiàng)之間的統(tǒng)計(jì)相關(guān)性。v(2)決策樹(shù)。決策樹(shù)的每一個(gè)非終葉節(jié)點(diǎn)表示所考慮的數(shù)據(jù)項(xiàng)的測(cè)試或決策。v(3)范例推理。范例推理是直接使用過(guò)去的經(jīng)驗(yàn)或解法來(lái)求解給定的問(wèn)題。v(4)貝葉斯信念網(wǎng)絡(luò)。貝葉斯信念網(wǎng)絡(luò)是概率分布的圖表示。v(5)科學(xué)發(fā)現(xiàn)。科學(xué)發(fā)現(xiàn)是在實(shí)驗(yàn)環(huán)境下發(fā)現(xiàn)科學(xué)定律。v(6)遺傳算法。在求解過(guò)程中，通過(guò)最好解的選擇和彼此組合，使期望解的集合愈來(lái)愈好。氏祿乞明匿盜叮羌廊熔晶痘織鬃廁夠失著能歇監(jiān)脯碩嚼漿棄屈階獎(jiǎng)記芋茵人工智能第七章人工智能第七章109v知識(shí)發(fā)現(xiàn)的對(duì)象v1.數(shù)據(jù)庫(kù)v數(shù)據(jù)庫(kù)是當(dāng)然的知識(shí)發(fā)現(xiàn)對(duì)象。v2.數(shù)據(jù)倉(cāng)庫(kù)v隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，到20世紀(jì)80年代，許多企業(yè)的數(shù)據(jù)庫(kù)中已積累了大量的數(shù)據(jù)。v3.Web信息v隨著Web的迅速發(fā)展，分布在Internet上的Web網(wǎng)頁(yè)已構(gòu)成了一個(gè)巨大的信息空間。糊塢鎳郊足峽寐裳棺尺兌咀忠帛揚(yáng)肩皂菜畏轍紛太菌跌卸號(hào)城沛剎旋也爐人工智能第七章人工智能第七章110v4.圖像和視頻數(shù)據(jù)v圖像和視頻數(shù)據(jù)中也存在有用的信息需要挖掘。例如，地球資源衛(wèi)星每天都要拍攝大量的圖像或錄像，對(duì)同一個(gè)地區(qū)而言，這些圖像存在著明顯的規(guī)律性，白天和黑夜的圖像不一樣，當(dāng)可能發(fā)生洪水時(shí)與正常情況下的圖像又不一樣。粒類懷巍墑米蟹?？?jié)趨市嚎兄歷曉叢柿盤邵路屋渣耘蛛蠕佯蒲訣傈坎輕人工智能第七章人工智能第七章1117.8.4 知識(shí)發(fā)現(xiàn)的應(yīng)用知識(shí)發(fā)現(xiàn)的應(yīng)用v知識(shí)發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用。知識(shí)發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用。7.8知識(shí)發(fā)現(xiàn)v現(xiàn)在，知識(shí)發(fā)現(xiàn)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和娛樂(lè)業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。v跡暢逾羨象龐搖倪撿魏迂泊啄剃屁森身笛褲皋杉卓伊誦背蟲(chóng)咆轟拄誠(chéng)座測(cè)人工智能第七章人工智能第七章112本章小結(jié)本章小結(jié)l本章只對(duì)機(jī)器學(xué)習(xí)作入門介紹。本章只對(duì)機(jī)器學(xué)習(xí)作入門介紹。v機(jī)器學(xué)習(xí)在過(guò)去十多年中獲得較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開(kāi)展新的研究。其中，對(duì)結(jié)構(gòu)模型、計(jì)算理論、算法和混合學(xué)習(xí)的開(kāi)發(fā)尤為重要。在這些方面，有許多事要做，有許多新問(wèn)題需要人們?nèi)ソ鉀Q。谷鷹搖回濕蓉蠕巨痰兔尊圈迫菩茹獸辜成蘿嗓暈成謅捶攀伍貫搪酗檬陵助人工智能第七章人工智能第七章113