電子金融課件：16b 機(jī)器學(xué)習(xí) 簡(jiǎn)介

機(jī)器學(xué)習(xí)簡(jiǎn)介機(jī)器學(xué)習(xí)簡(jiǎn)介什么是機(jī)器學(xué)習(xí)什么是機(jī)器學(xué)習(xí) 卡內(nèi)基梅隆大學(xué)教授Tom Mitchell定義了什么是機(jī)器學(xué)習(xí)：一個(gè)程序能夠從經(jīng)驗(yàn)E中學(xué)習(xí)，解決任務(wù)T，達(dá)到性能度量值P，當(dāng)且僅當(dāng)，經(jīng)過(guò)經(jīng)驗(yàn)E后，經(jīng)過(guò)P評(píng)價(jià)，程序在處理任務(wù)T時(shí)的性能有所提升 例子：西洋棋程序，通過(guò)編程讓程序跟自己下了幾萬(wàn)盤(pán)棋，通過(guò)學(xué)習(xí)那種布局會(huì)贏那種布局會(huì)輸，一段時(shí)間之后，該西洋棋程序就知道什么是好的布局什么是壞的布局 對(duì)于上述的西洋棋程序而言，經(jīng)驗(yàn)E就是程序自己進(jìn)行的上萬(wàn)次的自我學(xué)習(xí)，任務(wù)T就是下棋這個(gè)過(guò)程，性能度量值P就是比賽的最后會(huì)贏的概率。 電子郵件系統(tǒng)中的垃圾郵件標(biāo)注的案例，加入我們將一份該系統(tǒng)并沒(méi)標(biāo)注為垃圾郵件的郵件手動(dòng)變主衛(wèi)垃圾郵件，基于我們標(biāo)注的垃圾郵件，該垃圾郵件識(shí)別系統(tǒng)將更好的學(xué)習(xí)如何過(guò)濾垃圾郵件。什么是機(jī)器學(xué)習(xí)什么是機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)學(xué)習(xí)的對(duì)象又是什么呢？數(shù)據(jù)。 他從數(shù)據(jù)出發(fā)，提取數(shù)據(jù)特征，發(fā)現(xiàn)數(shù)據(jù)中的知識(shí)，然后又回到對(duì)數(shù)據(jù)的分析預(yù)測(cè)中去。 為此，在機(jī)器學(xué)習(xí)的假設(shè)中有很重重的一個(gè)假設(shè)，那就是假設(shè)同類(lèi)數(shù)據(jù)的數(shù)據(jù)有一定的統(tǒng)計(jì)特性。這樣機(jī)器學(xué)習(xí)通過(guò)考慮學(xué)習(xí)什么樣的模型以及如何學(xué)習(xí)的問(wèn)題，使得模型能讀數(shù)據(jù)進(jìn)行準(zhǔn)確的預(yù)測(cè)與分析。機(jī)器學(xué)習(xí)分類(lèi)機(jī)器學(xué)習(xí)分類(lèi)機(jī)器學(xué)習(xí)分類(lèi)機(jī)器學(xué)習(xí)分類(lèi) 基于數(shù)據(jù)構(gòu)架模型從而對(duì)數(shù)據(jù)進(jìn)行分析預(yù)測(cè)的機(jī)器學(xué)習(xí)由監(jiān)督學(xué)習(xí)(supervised learning)非監(jiān)督學(xué)習(xí)(unsupervised learning)半監(jiān)督學(xué)習(xí)(semi-supervised learning)強(qiáng)化學(xué)習(xí)(reinforcement learning)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí) 1、可以由訓(xùn)練資料中學(xué)到或建立一個(gè)模式，并依此模式推測(cè)新的實(shí)例。訓(xùn)練資料是由輸入物件(通常是向量)和預(yù)期輸出所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值(稱(chēng)為回歸分析)，或是預(yù)測(cè)一個(gè)分類(lèi)標(biāo)簽(稱(chēng)作分類(lèi))。 2、一個(gè)監(jiān)督式學(xué)習(xí)的任務(wù)在觀察完一些訓(xùn)練范例(輸入和預(yù)期輸出)后，去預(yù)測(cè)這個(gè)函數(shù)對(duì)任何可能出現(xiàn)的輸入的值的輸出。要達(dá)到此目的，學(xué)習(xí)者必須以合理(見(jiàn)歸納偏向)的方式從現(xiàn)有的資料中一般化到非觀察到的情況。在人類(lèi)和動(dòng)物感知中，則通常被稱(chēng)為概念學(xué)習(xí)。 3、監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型。最一般的，監(jiān)督式學(xué)習(xí)產(chǎn)生一個(gè)全域模型，會(huì)將輸入物件對(duì)應(yīng)到預(yù)期輸出。而另一種，則是將這種對(duì)應(yīng)實(shí)作在一個(gè)區(qū)域模型。(如案例推論及最近鄰居法)。 目前最廣泛被使用的分類(lèi)器有人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、最近鄰居法、高斯混合模型、樸素貝葉斯方法、決策樹(shù)和徑向基函數(shù)分類(lèi)。監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí) 1、無(wú)監(jiān)督式學(xué)習(xí)(Unsupervised Learning)其目的是去對(duì)原始資料進(jìn)行分類(lèi)，以便了解資料內(nèi)部結(jié)構(gòu)。有別于監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)，無(wú)監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)時(shí)并不知道其分類(lèi)結(jié)果是否正確，亦即沒(méi)有受到監(jiān)督式增強(qiáng)(告訴它何種學(xué)習(xí)是正確的)。其特點(diǎn)是僅對(duì)此種網(wǎng)絡(luò)提供輸入范例，而它會(huì)自動(dòng)從這些范例中找出其潛在類(lèi)別規(guī)則。當(dāng)學(xué)習(xí)完畢并經(jīng)測(cè)試后，也可以將之應(yīng)用到新的案例上。 2、無(wú)監(jiān)督學(xué)習(xí)里典型的例子就是聚類(lèi)了。聚類(lèi)的目的在于把相似的東西聚在一起，而我們并不關(guān)心這一類(lèi)是什么。因此，一個(gè)聚類(lèi)算法通常只需要知道如何計(jì)算相似度就可以開(kāi)始工作了。無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化強(qiáng)化學(xué)習(xí)學(xué)習(xí) 強(qiáng)化學(xué)習(xí)是從動(dòng)物學(xué)習(xí)、參數(shù)擾動(dòng)自適應(yīng)控制等理論發(fā)展而來(lái)，其基本原理基本原理是：如果Agent的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號(hào))，那么Agent以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)。Agent的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的折扣獎(jiǎng)賞和最大。 強(qiáng)化學(xué)習(xí)把學(xué)習(xí)看作試探評(píng)價(jià)過(guò)程，Agent選擇一個(gè)動(dòng)作用于環(huán)境，環(huán)境接受該動(dòng)作后狀態(tài)發(fā)生變化，同時(shí)產(chǎn)生一個(gè)強(qiáng)化信號(hào)(獎(jiǎng)或懲)反饋給Agent，Agent根據(jù)強(qiáng)化信號(hào)和環(huán)境當(dāng)前狀態(tài)再選擇下一個(gè)動(dòng)作，選擇的原則是使受到正強(qiáng)化(獎(jiǎng))的概率增大。選擇的動(dòng)作不僅影響立即強(qiáng)化值，而且影響環(huán)境下一時(shí)刻的狀態(tài)及最終的強(qiáng)化值。 強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，主要表現(xiàn)在教師信號(hào)上，強(qiáng)化學(xué)習(xí)中由環(huán)境提供的強(qiáng)化信號(hào)是Agent對(duì)所產(chǎn)生動(dòng)作的好壞作一種評(píng)價(jià)(通常為標(biāo)量信號(hào))，而不是告訴Agent如何去產(chǎn)生正確的動(dòng)作。由于外部環(huán)境提供了很少的信息，Agent必須靠自身的經(jīng)歷進(jìn)行學(xué)習(xí)。通過(guò)這種方式，Agent在行動(dòng)一一評(píng)價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。 強(qiáng)化學(xué)習(xí)系統(tǒng)學(xué)習(xí)的目標(biāo)是動(dòng)態(tài)地調(diào)整參數(shù)，以達(dá)到強(qiáng)化信號(hào)最大。若已知r/A梯度信息，則可直接可以使用監(jiān)督學(xué)習(xí)算法。因?yàn)閺?qiáng)化信號(hào)r與Agent產(chǎn)生的動(dòng)作A沒(méi)有明確的函數(shù)形式描述，所以梯度信息r/A無(wú)法得到。因此，在強(qiáng)化學(xué)習(xí)系統(tǒng)中，需要某種隨機(jī)單元，使用這種隨機(jī)單元，Agent在可能動(dòng)作空間中進(jìn)行搜索并發(fā)現(xiàn)正確的動(dòng)作。半半監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)學(xué)習(xí)資料學(xué)習(xí)資料一些學(xué)習(xí)資料一些學(xué)習(xí)資料 周志華2016 CNCC講話(huà)http:/ 李宏毅machine learning課程http:/speech.ee.ntu.edu.tw/tlkagk/courses_ML17_2.htmlhttps:/