《機器學習》教學大綱

機器學習教學大綱課程主要內(nèi)容框架：各章節(jié)的主要內(nèi)容、目的與要求1. 決策論與信息論基礎（2學時）：了解并掌握統(tǒng)計決策理論和信息論的基礎知識。a) 損失函數(shù)、錯分率的最小化、期望損失的最小化等b) 相對熵、互信息2. 概率分布（4學時）：熟悉常見的分布，熟練掌握最大似然估計方法，學會利用無信息先驗和共軛先驗簡化計算，了解一些常用的非參數(shù)方法。a) 高斯分布、混合高斯分布、Dirichlet分布、 beta分布等b) 指數(shù)分布族：最大似然估計、充分統(tǒng)計量、共軛先驗、無信息先驗等c) 非參數(shù)方法：核密度估計、近鄰法3. 回歸的線性模型（4學時）：掌握線性回歸的一般方法，學會使用R中有關回歸的程序包，并能將之用于解決實際問題。a) 線性基函數(shù)模型b) 貝葉斯線性回歸c) 貝葉斯模型比較4. 分類的線性模型（4學時）：對分類問題有一個全面的了解，掌握一些常用的分類方法。a) 判別函數(shù)：二分類和多分類的Fisher線性判別b) 概率生成模型：連續(xù)輸入、離散特征5. 神經(jīng)網(wǎng)絡（4學時）：熟練掌握經(jīng)典神經(jīng)網(wǎng)絡模型的建模和實現(xiàn)，了解貝葉斯神經(jīng)網(wǎng)絡的基本算法，學會使用FBM（flexible Bayesian Modeling）軟件。a) 前饋網(wǎng)絡函數(shù)b) 神經(jīng)網(wǎng)絡的訓練：參數(shù)的最優(yōu)化、梯度下降最優(yōu)化等c) 錯誤的后傳播d) 貝葉斯神經(jīng)網(wǎng)絡：后驗參數(shù)分布、超參數(shù)最優(yōu)化、應用6. 核方法（4學時）：了解核方法的最新進展，熟練掌握核函數(shù)參數(shù)估計的常用方法。a) 對偶表示b) 構造核函數(shù)c) 徑向基函數(shù)網(wǎng)絡：Nadaraya-Watson模型d) 高斯過程：高斯過程模型用于回歸和分類、Laplace逼近、與神經(jīng)網(wǎng)絡的聯(lián)系7. 支持向量機（4學時）：掌握支持向量機的基本原理，面對各自研究領域中的具體問題學會使用支持向量機，粗略了解統(tǒng)計學習理論。a) 最大邊緣分類器：歷史回顧b) 用于多分類和回歸的支持向量機：幾何背景、各種變種c) 統(tǒng)計學習理論簡介：Vapnik等人的工作8. 圖模型（4學時）：從建模到算法實現(xiàn)。a) 貝葉斯網(wǎng)絡b) Markov隨機場：條件獨立、因子分解c) 圖模型中的推斷9. 混合模型和期望最大化（Expectation Maximization，EM）算法（4學時）：掌握EM算法的基本理論，學會使用EM算法。a) 高斯混合模型的參數(shù)估計：最大似然估計、EM算法b) EM一般算法及其應用：貝葉斯線性回歸10. 隨機模擬技術（6學時）：了解并掌握一些經(jīng)典的Monte Carlo方法，學會使用JAGS（Just Another Gibbs Sampler）軟件。a) 拒絕采樣和重要性采樣b) Markov chain Monte Carlo（MCMC）方法：Metropolis-Hastings算法c) Gibbs采樣11. 隱Markov模型和條件隨機場模型（4學時）：掌握隱Markov模型的幾個經(jīng)典算法，學會利用隱Markov模型和條件隨機場模型解決具體問題，如自然語言處理中的詞性標注、蛋白質結構的分析和預測等。a) 隱Markov模型：向前-向后算法、Viterbi算法、Baum-Welch算法等b) 條件隨機場及其應用12. 模型的組合（4學時）：學會在已有模型的基礎上構造新模型進一步改進效果。a) 貝葉斯模型均衡b) 助推法：指數(shù)錯誤的最小化、助推法的錯誤函數(shù)c) 基于樹的模型d) 條件混合模型：線性回歸模型的混合、logistic模型的混合等主要參考文獻1. Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science + Business Media, LLC2. Mitchell, T. M. (1997) Machine Learning, The McGraw-Hill Companies, Inc.教學方式采用多媒體教學和傳統(tǒng)教學相結合的方式，在理論介紹上做到簡潔直觀，在實驗展示上做到生動活潑。通過理論學習，學生將掌握統(tǒng)計機器學習的經(jīng)典理論，了解當前最新的進展，并學會針對各自學科的具體問題建模和設計算法。掌握統(tǒng)計計算語言R及各種常用的機器學習工具包，最終實現(xiàn)算法、完成實驗結果分析?？紤]到統(tǒng)計機器學習的特點，在教學上始終貫徹理論聯(lián)系實踐的宗旨，培養(yǎng)學生的動手能力，以解決具體問題為驅動，在學中用、在用中學。考試方式最后成績的評定采用：1. 平時成績（作業(yè)）30%2. 期中考試（筆試）30%3. 期末考試（筆試）40%2