回歸分析原理-概率論與數(shù)理統(tǒng)計(jì)(李長青版).ppt

第 九 章,方差分析與回歸分析,第二節(jié) 回歸分析原理,一個(gè)過程中多個(gè)變量之間的關(guān)系分為兩類：,確定性關(guān)系是指當(dāng)一些變量的值確定以后另一,相關(guān)關(guān)系是指變量之間有一定的依賴關(guān)系，但,確定性關(guān)系 也就是通常所說的函數(shù)關(guān)系；,非確定性關(guān)系 即所謂的相關(guān)關(guān)系。,些變量的值也隨之完全確定的關(guān)系。,當(dāng)一些變量的值確定以后，另一些變量的值雖隨之,變化卻并不能完全確定，這時(shí)變量間的關(guān)系不能精,確地用函數(shù)來表示。,回歸分析是數(shù)理統(tǒng)計(jì)中研究一個(gè)響應(yīng)變量與若干,回歸分析的任務(wù)主要有三個(gè)：,(1) 給出建立具有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān),個(gè)預(yù)報(bào)變量之間相關(guān)關(guān)系的一種有效方法；,一個(gè)預(yù)報(bào)變量的回歸分析稱為一元回歸分析，,個(gè)預(yù)報(bào)變量的回歸分析稱為多元回歸分析。,系式（通常稱為經(jīng)驗(yàn)公式）的一般方法；,(2) 判別所建立的經(jīng)驗(yàn)公式是否有效；判別哪些,預(yù)報(bào)變量對(duì)響應(yīng)變量的影響是顯著的，哪些,是不顯著的；,(3)利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測和控制。,其中只有,多于一,一、一元線性回歸模型,當(dāng)隨機(jī)變量 Y 與普通變量 x 之間有線性關(guān)系時(shí) ,可假設(shè),其中a, b, 2 為不依賴于x的未知參數(shù), 上式稱為一元,線性回歸模型, 簡稱一元線性模型.,此時(shí)有,稱 Y 的期望,為Y 關(guān)于 x 的線性回歸函數(shù), a, b為回歸系數(shù), x 為回歸,變量.,Y 與 x 間有線性相,當(dāng) Y 與 x 間滿足這種關(guān)系時(shí),關(guān)關(guān)系.,的一組樣本，,的觀察值.,則有,回歸分析就是根據(jù)樣本觀察值尋求 a, b的估計(jì),對(duì)于給定 x 值, 取,作為,的估計(jì).,方程(2)稱為 Y 關(guān)于 x 的線,性回歸方程或經(jīng)驗(yàn)公式, 其圖形稱為回歸直線,稱為,回歸系數(shù).,二、參數(shù)的估計(jì),對(duì)于樣本觀測值,記,為了研究變量 x 與 y 之間的線性關(guān)系, 考察由,所作的散點(diǎn)圖與直線,的偏離程度.,令,離的平方和, 稱其為偏差平方和.,顯然, 偏差平方和,越小的直線, 越能較好地反映變量 x 與 y 之間的,關(guān)系.,因此, 問題歸結(jié)為求參數(shù) b, a 的估計(jì)估計(jì)值,越小的直線, 越能較好地反映變量 x 與 y 之間的,關(guān)系.,因此, 問題歸結(jié)為求參數(shù) b, a 的估計(jì)估計(jì)值,滿足上式的,稱為 a, b 的最小二乘估計(jì), 可用微分,法求得.,將Q(a,b)對(duì)a, b 求偏導(dǎo)并令偏導(dǎo)數(shù)為零,由此可得規(guī)范方程為,其中,解此方程組得,由此可得規(guī)范方程為,其中,記,解此方程組得,記,而回歸方程為,例1 某種物質(zhì)在不同溫度下可吸附另一種物質(zhì), 如,果溫度 x (單位:)與吸附重量 y (單位:)的觀測值如下,表所示:,試求吸附重量 y 和溫度 x 的回歸方程.,解,直接計(jì)算可得,解,直接計(jì)算可得,所求的回歸方程為,二、回歸方程的有效性檢驗(yàn),當(dāng)且僅當(dāng)a0 時(shí)，變量Y與 x 之間存在線性相關(guān)關(guān)系,為了檢驗(yàn)Y與 x 之間的線性相關(guān)的顯著性，應(yīng)當(dāng)檢驗(yàn),檢驗(yàn)原假設(shè) H0：a = 0 是否成立。,若拒絕H0，則認(rèn)為Y與 x 之間存在線性關(guān)系，所求得,得線性回歸方程有意義；若接受H0，則認(rèn)為Y與 x 的,關(guān)系不能用一元線性回歸模型來表示，所求得的線性,回歸方程無意義。,方差分析法（F檢驗(yàn)法）,考察樣本y1,y2,yn的偏差平方和，或稱總平方和,對(duì)上式中的,交叉項(xiàng) ，有,注意到,及,它反映了觀測值偏離回歸直線的程度，這種偏離是,由此得平方和分解公式如下：,其中,由于觀測誤差等隨機(jī)因素引起的.,回歸平方和反映回歸值的分散度，這種分散是,由于Y與x之間得線性相關(guān)關(guān)系引起的；,Q剩與Q回的比值反映了這種線性相關(guān)關(guān)系與隨機(jī),因素對(duì) y 的影響的大??；比值越大，線性相關(guān)性越強(qiáng).,基于此，構(gòu)造檢驗(yàn)統(tǒng)計(jì)量,關(guān)系顯著. 反之認(rèn)為 y 對(duì) x 沒有線性相關(guān)關(guān)系，所求的,線性回歸方程無實(shí)際意義.,例2 小麥基本苗數(shù) x 及有效穗數(shù) y (單位:萬)的5組,觀察數(shù)據(jù)如下:,試求線性回歸方程, 并檢驗(yàn)y與 x 之間的相關(guān)性,解,由已知數(shù)據(jù)直接計(jì)算得,解,由已知數(shù)據(jù)直接計(jì)算得,由此得回歸方程為,回歸系數(shù)的檢驗(yàn),檢驗(yàn)假設(shè),計(jì)算回歸平方和與剩余平和,查表得臨界值,因?yàn)?所以, 拒,絕H0, 可以認(rèn)為 y 與 x 之間具有線性相關(guān)關(guān)系,回歸方,程,顯著有效.,三、可線性化的非線性回歸分析問題,(1)雙曲線型,令,(2)指數(shù)型,若 c 0, 令,若 c <0, 令,(3)冪函數(shù)型,若 c 0, 令,若 c <0, 令,(4)對(duì)數(shù)曲線型,令,(5)邏輯曲線型,令,