《機器學習》課程教學大綱

機器學習 課程教學大綱課程中文名稱：機器學習課程英文名稱：Machine Learning適用專業(yè)：計算機應(yīng)用技術(shù)，管理科學與工程總學時： 36（講課：28 ，實驗： 8）學分： 2大綱撰寫人：大綱審核人：編寫日期：一、 課程性質(zhì)及教學目的：本課程是面向計算機與信息工程學院研究生開設(shè)的專業(yè)基礎(chǔ)課。其教學重點是使學生掌握常見機器學習算法，包括算法的主要思想和基本步驟，并通過編程練習和典型應(yīng)用實例加深了解；同時對機器學習的一般理論，如假設(shè)空間、采樣理論、計算學習理論，以及無監(jiān)督學習和強化學習有所了解。二、對選課學生的要求：要求選課學生事先受過基本編程訓練，熟悉C/C+ 或 Matlab 編程語言，具有多元微積分、高等代數(shù)和概率統(tǒng)計方面基本知識。三、課程教學內(nèi)容和要求 （ 200 字左右的概述， 然后給出各 “章”“節(jié)” 目錄及內(nèi)容簡介）1. 決策論與信息論基礎(chǔ)：a) 損失函數(shù)、錯分率的最小化、期望損失的最小化等b) 相對熵、互信息2. 概率分布：a) 高斯分布、混合高斯分布、 Dirichlet 分布、 beta 分布等b) 指數(shù)分布族：最大似然估計、充分統(tǒng)計量、共軛先驗、無信息先驗等c) 非參數(shù)方法：核密度估計、近鄰法3. 回歸的線性模型：a) 線性基函數(shù)模型b) 貝葉斯線性回歸c) 貝葉斯模型比較4. 分類的線性模型：a)判別函數(shù)：二分類和多分類的Fisher 線性判別b) 概率生成模型：連續(xù)輸入、離散特征5. 核方法：a) 對偶表示b) 構(gòu)造核函數(shù)c) 徑向基函數(shù)網(wǎng)絡(luò)： Nadaraya-Watson 模型d)高斯過程：高斯過程模型用于回歸和分類、Laplace 逼近、與神經(jīng)網(wǎng)絡(luò)的聯(lián)系6. 支持向量機：a) 最大邊緣分類器：歷史回顧b) 用于多分類和回歸的支持向量機：幾何背景、各種變種c) 統(tǒng)計學習理論簡介： Vapnik 等人的工作7. 圖模型：a) 貝葉斯網(wǎng)絡(luò)b) Markov 隨機場：條件獨立、因子分解c) 圖模型中的推斷8. 混合模型和期望最大化（ Expectation Maximization ， EM）算法（ 3 學時）：a)高斯混合模型的參數(shù)估計：最大似然估計、EM 算法b) EM 一般算法及其應(yīng)用：貝葉斯線性回歸9.隱 Markov 模型和條件隨機場模型（3 學時）：a) 隱 Markov 模型：向前 -向后算法、 Viterbi 算法、 Baum-Welch 算法等b) 條件隨機場及其應(yīng)用四、 課程教學環(huán)節(jié)的學時安排和基本要求1. 決策論與信息論基礎(chǔ)（ 2 學時）：了解并掌握統(tǒng)計決策理論和信息論的基礎(chǔ)知識。2. 概率分布（ 3 學時）：熟悉常見的分布，熟練掌握最大似然估計方法，學會利用無信息先驗和共軛先驗簡化計算，了解一些常用的非參數(shù)方法。3.回歸的線性模型（3 學時）：掌握線性回歸的一般方法，學會使用R 中有關(guān)回歸的程序包，并能將之用于解決實際問題。4. 分類的線性模型（ 3 學時）：對分類問題有一個全面的了解，掌握一些常用的分類方法。5. 核方法（ 3 學時）：了解核方法的最新進展，熟練掌握核函數(shù)參數(shù)估計的常用方法。6.支持向量機 （ 4 學時）：掌握支持向量機的基本原理，面對各自研究領(lǐng)域中的具體問題學會使用支持向量機，粗略了解統(tǒng)計學習理論。7. 圖模型（ 4 學時）：從建模到算法實現(xiàn)。8. 混合模型和期望最大化（ Expectation Maximization ， EM ）算法（ 3 學時）：掌握 EM 算法的基本理論，學會使用 EM 算法。9. 隱 Markov 模型和條件隨機場模型（ 3 學時）：掌握隱 Markov 模型的幾個經(jīng)典算法，學會利用隱 Markov 模型和條件隨機場模型解決具體問題，如自然語言處理中的詞性標注等。五、教材及參考文獻：1. Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science + Business Media, LLC2. Mitchell, T. M. (1997) Machine Learning, The McGraw-Hill Companies, Inc.六、必要的說明