中國科學院大學2012年《機器學習》試卷及其答案

中國科學院大學 20139310班中國科學院大學2012年機器學習試卷及其答案任課教師：卿來云一、基礎題(共36分)1、請描述極大似然估計 MLE和最大后驗估計 MAP之間的區(qū)別。請解釋為什么 MLE比MAP 更容易過擬合。(10分)MLE :取似然函數(shù)最大時的參數(shù)值為該參數(shù)的估計值，ymie=argmaxp(x|y) ； MAP :取后驗函數(shù)(似然與先驗之積)最大時的參數(shù)值為該參數(shù)的估計值，ymap=argmaxp(x|y)p(y)。因為MLE只考慮訓練數(shù)據(jù)擬合程度沒有考慮先驗知識，把錯誤點也加入模型中，導致過擬合。2、 在年度百花獎評獎揭曉之前，一位教授問80個電影系的學生，誰將分別獲得8個獎項(如 最佳導演、最佳男女主角等)。評獎結果揭曉后，該教授計算每個學生的猜中率，同時也計算了所有80個學生投票的結果。他發(fā)現(xiàn)所有人投票結果幾乎比任何一個學生的結果正確率 都高。這種提高是偶然的嗎？請解釋原因。(10分)設x為第i個學生的猜中率(要么 0要么1) xBer( 0 ),E(x)= 0 ,V(x)= 0 (1- 0 )mean(x)N( 0 , 0 (1- 0 )/N),E(mean(x)=0 ,V(mean(x)=0 (1- 0 )/N<V(x)3、 假設給定如右數(shù)據(jù)集，其中A、B、C為二值隨機變量，y為待預測的二值變量。Acy010441a099gI111tJ1001ia61 對一個新的輸入 A=0, B=0, C=1 ,樸素貝葉斯分類器將會怎樣預測y?( 10分)yBer( 0 ) p(y=0)=3/7,p(y=1)=4/7p(y=0|A=0B=0C=1) x p(y=0)*p(A=0|y=0)*p(B=0|y=0)*p(C=1|y=0)=3/7*2/3*1/3*1/3=2/63 p(y=1|A=0B=0C=1) x p(y=1)*p(A=0|y=1)*p(B=0|y=1)*p(C=1|y=1)=4/7*1/4*2/4*2/4=1/28,因此屬于y=1類(b)假設你知道在給定類別的情況下A、B、C是獨立的隨機變量，那么其他分類器(如Logstic回歸、SVM分類器等)會比樸素貝葉斯分類器表現(xiàn)更好嗎？為什么？(注意：與上面給的 數(shù)據(jù)集沒有關系。)(6分)不會。因為已知獨立同分布的前提下NBC只用3個參數(shù)，不用NBC貝U需要23-1=7個參數(shù)。若不獨立，則其他基于數(shù)據(jù)本身的判別式分類器效果較好。二、回歸問題。(共24分)現(xiàn)有N個訓練樣本的數(shù)據(jù)集D=(xi,yi)，其中xi,yi為實數(shù)。1. 我們首先用線性回歸擬合數(shù)據(jù)。 為了測試我們的線性回歸模型， 我們隨機選擇一些樣本 作為訓練樣本，剩余樣本作為測試樣本?，F(xiàn)在我們慢慢增加訓練樣本的數(shù)目， 那么隨著訓練 樣本數(shù)目的增加，平均訓練誤差和平均測試誤差將會如何變化？為什么？(6分)平均訓練誤差：A、增加B、減小平均測試誤差：A、增加 B、減小因為當訓練樣本增多時，模型參數(shù)發(fā)生改變以擬合新增的樣本，因而使得模型原先的擬合程度下降，平均訓練誤差增加；而訓練樣本增多，模型越接近真實的分布，因而使得平均測試 誤差減小。2. 給定如下圖(a)所示數(shù)據(jù)。粗略看來這些數(shù)據(jù)不適合用線性回歸模型表示。因此我們采用如下模型斗岡卜即7 其中八耳QJ)。假設我們采用極大似然估計w，請給出log似然函數(shù)并給出 w的估計。(8分)4 -A f嚴八.V *7¥4k ij| ndgp(yi|w,xi)N(exp(wxi),1)L(w)=logp(y|w,x)=-0.5*工(yi-exp(wx)令 g(w)=工(yi-exp(wxi)*exp(wxi)*xi=0 求得 w3. 給定如下圖(b)所示的數(shù)據(jù)。從圖中我們可以看出該數(shù)據(jù)集有一些噪聲，請設計一個對噪聲魯棒的線性回歸模型，并簡要分析該模型為什么能對噪聲魯棒。(10分)如圖離群點較多(heavy tail)，使用魯棒線性回歸模型：y=wTx+ & Laplace(vifx,b)因為當 y 服從拉式分布時 L( 0 )=logp(D|X,w,b)=工 logLap(yi|Txi,b)=-N*log(2b)-才剛血，其損失為殘差絕對值和，對離群點不敏感；而當y服從正態(tài)分布時，L( 0 )=logp(D|X,w,b)= 工 logN(yi|w>-(N/2)*log(22)-冕(yi-Jxi)2/2 % 其損失為殘差平方和，放大了誤差，對離群點敏感。因此使用Laplace(或Student)線性回歸模型能對噪聲魯棒。三、SVM分類。(第15題各4分，第6題5分，共25分)下圖為采用不同核函數(shù)或不同的松弛因子得到的SVM決策邊界。但粗心的實驗者忘記記錄每個圖形對應的模型和參數(shù)了。請你幫忙給下面每個模型標出正確的圖形。Ihf-eix* A1* A ' 1> i' -i* *、 墓沖上旦巧cip -|i-r| |*答：1.c 2.b 3.d 4.a 5.e6、考慮帶松弛因子的線性 SVM分類器:it-7.也；Wf 兇 Yr WJ"F面有一些關于某些變量隨參數(shù)C的增大而變化的表述。如果表述總是成立，標示如果表述總是不成立，標示否”；如果表述的正確性取決于C增大的具體情況，標示是”；不一（1） w0不會增大（不一定）|w|增大（不一定）（3）|w|不會減小 （是）（4）會有更多的訓練樣本被分錯（否）間隔（Margin）不會增大（是）四、一個初學機器學習的朋友對房價進行預測。他在一個N=1000個房價數(shù)據(jù)的數(shù)據(jù)集上匹配了一個有533個參數(shù)的模型，該模型能解釋數(shù)據(jù)集上99%的變化。1、請問該模型能很好地預測來年的房價嗎？簡單解釋原因。(5分)2、如果上述模型不能很好預測新的房價，請你設計一個合適的模型，給出模型的參數(shù)估計,并解釋你的模型為什么是合理的。(10分)答：1不能。因為模型參數(shù)過多太復雜，訓練集上擬合太好，把錯誤點也考慮進來，因此發(fā) 生了過擬合，預測誤差較大。2.對之進行 L1正則，即Lasso回歸。yN(wTx,知wLap(0,t)L( 0 )=C-工(yl-w) 2/2 2-工 |wi|/b NLL=RSS+入 |w|通過調(diào)節(jié)L1正則系數(shù)入大小避免模型過擬合，而且估計w參數(shù)的同時進行了特征選擇, 得系數(shù)w盡可能多的為0,簡化了模型。第5頁共4頁