一元線性回歸模型及參數(shù)估計.ppt

《一元線性回歸模型及參數(shù)估計.ppt》由會員分享，可在線閱讀，更多相關(guān)《一元線性回歸模型及參數(shù)估計.ppt（36頁珍藏版）》請在裝配圖網(wǎng)上搜索。

一元線性回歸模型及其參數(shù)估計 一 一元線性回歸模型的參數(shù)估計二 最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)三 最小二乘參數(shù)估計量的概率分布 一 一元線性回歸模型的參數(shù)估計 一元線性回歸模型的一般形式 模型參數(shù)估計的任務(wù) 模型參數(shù)估計的任務(wù)為兩項(xiàng) 1 普通最小二乘法 OrdinaryLeastSquare OLS 給定一組樣本觀測值 Xi Yi i 1 2 n 假如模型參數(shù)估計量已經(jīng)求得 并且是最合理的參數(shù)估計量 那么樣本回歸函數(shù)應(yīng)該能夠最好地擬合樣本數(shù)據(jù) 即樣本回歸線上的點(diǎn)與真實(shí)觀測點(diǎn)的 總體誤差 應(yīng)該盡可能地小 最小二乘法給出的判斷標(biāo)準(zhǔn)是 二者之差的平方和最小 即 解得 最小二乘參數(shù)估計量的離差形式 deviationform 注 在計量經(jīng)濟(jì)學(xué)中 往往以大寫字母表示原始數(shù)據(jù) 觀測值 而以小寫字母表示對均值的離差 deviation 隨機(jī)誤差項(xiàng)方差的估計量 1 用原始數(shù)據(jù) 觀測值 Xi Yi計算 簡捷公式為 2 用離差形式的數(shù)據(jù)xi yi計算 其中 簡捷公式為 2 最大似然法 MaximumLikelihood ML 最大或然法 也稱最大似然法 是不同于最小二乘法的另一種參數(shù)估計方法 是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ) 基本原理 對于最大或然法 當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后 最合理的參數(shù)估計量應(yīng)該使得從模型總體中抽取該n組樣本觀測值的聯(lián)合概率最大 將該或然函數(shù)極大化 即可求得到模型參數(shù)的極大或然估計量 由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的 所以 取對數(shù)或然函數(shù)如下 可見 在滿足一系列基本假設(shè)的情況下 模型結(jié)構(gòu)參數(shù)的最大或然估計量與普通最小二乘估計量是相同的 但是 隨機(jī)誤差項(xiàng)的方差的估計量是不同的 3 樣本回歸線的數(shù)值性質(zhì) numericalproperties 樣本回歸線通過Y和X的樣本均值 Y估計值的均值等于觀測值的均值 殘差的均值為0 二 最小二乘參數(shù)估計量的統(tǒng)計性質(zhì)高斯 馬爾可夫定理 當(dāng)模型參數(shù)估計完成后 需考慮參數(shù)估計值的精度 即是否能代表總體參數(shù)的真值 或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì) 高斯 馬爾可夫定理 Gauss Markovtheorem 在給定經(jīng)典線性回歸的假定下 最小二乘參數(shù)估計量是具有最小方差的線性無偏估計量 1 線性性 最小二乘參數(shù)估計量是Y的線性函數(shù) 2 無偏性 最小二乘參數(shù)估計量的均值等于總體回歸參數(shù)真值 3 有效性 在所有線性無偏估計量中 最小二乘參數(shù)估計量具有最小方差 2 證明最小方差性 4 結(jié)論普通最小二乘參數(shù)估計量具有線性性 無偏性 最小方差性等優(yōu)良性質(zhì) 具有這些優(yōu)良性質(zhì)的估計量又稱為最佳線性無偏估計量 即BLUE估計量 theBestLinearUnbiasedEstimators 顯然這些優(yōu)良的性質(zhì)依賴于對模型的基本假設(shè) 三 最小二乘參數(shù)估計量的概率分布 可以證明 隨機(jī)誤差項(xiàng)方差的無偏估計量為 例 已知收入X和消費(fèi)支出Y的如下數(shù)據(jù) 試估計Y對X的一元線性回歸方程 并計算參數(shù)估計量的標(biāo)準(zhǔn)差 解 其中