上海交通大學(xué)計(jì)算方法課件(宋寶瑞)CH.5
1第六章 函數(shù)的最優(yōu)逼近與擬合§1 線(xiàn)性賦范空間中的逼近問(wèn)題1.1 函數(shù)逼近與函數(shù)空間逼近的思想和方法滲透于幾乎所有的學(xué)科,其中包括自然科學(xué)和人文科學(xué)中的學(xué)科。逼近論既是一門(mén)研究函數(shù)的各類(lèi)逼近性質(zhì)的學(xué)科,屬于函數(shù)論的范疇,同時(shí)又是計(jì)算數(shù)學(xué)和科學(xué)工程計(jì)算諸多數(shù)值方法的理論基礎(chǔ)和方法的依據(jù)。本章討論科學(xué)計(jì)算中基于逼近論的一些函數(shù)逼近方法。函數(shù)逼近方法與函數(shù)插值方法相類(lèi)似,它也是在某一函數(shù)類(lèi)中求函數(shù),使它與被逼近函數(shù)之間滿(mǎn)足一定的近似條件。在插值方法中,這個(gè)近似條件是在插值結(jié)點(diǎn)上使插值函數(shù)與被插值函數(shù)的函數(shù)值對(duì)應(yīng)相等(包括各階導(dǎo)數(shù)值對(duì)應(yīng)相等) ;在逼近方法中,這個(gè)近似條件用逼近函數(shù)與被逼近函數(shù)之間的某種距離來(lái)表達(dá)。數(shù)學(xué)上常在各種集合中引入某些確定關(guān)系,稱(chēng)為賦予集合以某種空間結(jié)構(gòu),并將這樣的集合稱(chēng)為空間。例如,在線(xiàn)性代數(shù)中將所有實(shí) n 維向量組成的集合,按向量加法及向量與數(shù)的乘法構(gòu)成實(shí)數(shù)域上的線(xiàn)性空間,記作 ,稱(chēng)為 n 維向量空間。類(lèi)似地,對(duì)次數(shù)不超過(guò) n(n 為正整數(shù))的實(shí)R系數(shù)多項(xiàng)式全體,按通常多項(xiàng)式加法及數(shù)與函數(shù)乘法構(gòu)成數(shù)域 R 上的線(xiàn)性空間,用 表示,稱(chēng)為多項(xiàng)式空間,又如所有定義在區(qū)間上的連續(xù)函數(shù)集nP合,按函數(shù)加法和數(shù)與函數(shù)乘法構(gòu)成 R 上的線(xiàn)性空間,記作 ,稱(chēng)為,baC連續(xù)函數(shù)空間。定義 1.1 設(shè)集合 S 是數(shù)域 P 上的線(xiàn)性空間, 如果存在Sxn,12不全為零的數(shù) 使得Pan,1(1.1)02nxax則稱(chēng) 是線(xiàn)性相關(guān)的;若(1.1)式只對(duì) 成立,nx,1 021na則稱(chēng)是線(xiàn)性無(wú)關(guān)的。如果 S 包含一個(gè)由 n 個(gè)元素組成的極大線(xiàn)性無(wú)關(guān)組,則稱(chēng) S 是 n 維的,如果對(duì)任意自然數(shù) N, S 中存在 N 個(gè)線(xiàn)性無(wú)關(guān)的元素,則稱(chēng) S 是無(wú)窮維的。顯然 是無(wú)窮維的,但對(duì)于 和 0, 可以,baC(),fxCab)(xf用有限維空間 中的元素 逼近,使誤差 ,這就nP)(xp)(mpf是著名的 Weierstrass 逼近定理。定理 1.1 設(shè) ,則 0, ,使得,)(baf)(xnP)(xpfn在 上一致成立。,ba此定理可在數(shù)學(xué)分析書(shū)中找到證明。1912 年 Bernstein 構(gòu)造了一個(gè)多項(xiàng)式(1.2)knknkn xfxfB)1()();(0并證明 在 上一致成立,若 在 上 mlimn,)(xf1,0階可導(dǎo),則還有 。這也就從理論上給出定理 1.1)();()xfmn的構(gòu)造性證明。 稱(chēng)為 f 的 n 次 Bernstein 多項(xiàng)式。但由于xfB收斂于 很慢,因此實(shí)際計(jì)算的近似值時(shí),很少用這種方法。);(xfn)(3連續(xù)函數(shù) 還可用其他函數(shù)集合逼近。一般地,可用一組在)(xf上線(xiàn)性無(wú)關(guān)的函數(shù)集合 的線(xiàn)性組合來(lái)逼近 ,,baCniix0)(,)(baCxf即用 01()span(), ,Cab(1.3))(xn逼近 。于是函數(shù)逼近問(wèn)題就是對(duì) ,在線(xiàn)性子空間)(f ,fx中找某一元素 ,使 在某種意義下最小。換句話(huà)說(shuō),)()(f也就是找一組系數(shù) ,使(1.3)式中的 成為 在10na )(x)(f中的最佳逼近元。1.2 賦范線(xiàn)性空間中的最佳逼近既然是在線(xiàn)性子空間 中尋找某一函數(shù)的逼近,必須引入一個(gè)度量的概念來(lái)衡量逼近的好壞,即衡量誤差 的大小。這對(duì)于不僅要|()|fxp計(jì)算函數(shù)在個(gè)別點(diǎn)上的值,而且要考慮函數(shù)在區(qū)間上的整體性質(zhì)時(shí),特別有意義。定義 1.2 設(shè) 為線(xiàn)性空間,如果對(duì)每一向量 ,都有一實(shí)數(shù)與x之對(duì)應(yīng),把這一實(shí)數(shù)記為 ,并且這一對(duì)應(yīng)具有下列性質(zhì)|x1) ,等號(hào)成立當(dāng)且僅當(dāng) , ( 的零向量)正性|0x02) ,正齊性|*|3) .三角不等式| |yy則稱(chēng) 為 x 的范數(shù),一個(gè)線(xiàn)性空間,如果其中定義了滿(mǎn)足上述三條公理的范數(shù),我們稱(chēng)之為賦范線(xiàn)性空間,記為X; .注:范數(shù)的概念是很廣泛的,只要滿(mǎn)足上述 3 條,都可作為范數(shù)。以4前我們引入的向量和矩陣的范數(shù)都是相應(yīng)空間的范數(shù)。同一線(xiàn)性空間可以賦予不同的范數(shù)。定義 1.3 設(shè) 為賦范線(xiàn)性空間,其范數(shù)為 ,若序列 ,K0nK,使f0limfn則稱(chēng)序列 依范數(shù) 收斂于 f,記作 . 0n|linfA現(xiàn)在運(yùn)用賦范線(xiàn)性空間的概念來(lái)講解函數(shù)的逼近問(wèn)題。逼近論的兩個(gè)基本問(wèn)題1º 給定賦范線(xiàn)性空間 ,以及 的一個(gè)真子空間 。對(duì)于 如KfK果在 中存在這樣的元素 使得對(duì)所有的 有*SS*ff成立,則 稱(chēng)為 f 在范數(shù) 意義下在 中的最佳逼近元。立即就會(huì)出現(xiàn)*S|這樣的問(wèn)題:(1)最佳逼近元是否存在?是否唯一?(2)當(dāng)最佳逼近元唯一存在時(shí),如何構(gòu)造最佳逼近元。2º 設(shè)有 的一系列子空間 ,若對(duì)每一K12nK 個(gè)子空間 ,問(wèn)題 1º 中的最佳逼近元 存在,是否有 ,以及j*jS*limnSf收斂的速度。我將對(duì)于不同的范數(shù)定義,逐一研究這些問(wèn)題。§2 最佳一致逼近給出線(xiàn)性空間 ,取其范數(shù)和子空間為,baC5, (2.1))(maxffb1,nspxnP根據(jù)定理 1.1,問(wèn)題 2º 的回答是肯定的??紤]問(wèn)題 1º對(duì) 中任一元素 f 的最佳逼近問(wèn)題稱(chēng)為最佳一致逼近(通常又稱(chēng)為,baCChebyshev 意義下的逼近) 。定理 2.1 如果 f 在 上連續(xù),則在集合 中存在一個(gè)元素,是 f,ba的最佳一致逼近元。證略。§4 最佳平方逼近大家已經(jīng)學(xué)過(guò)三維歐氏空間,知道在歐氏空間里一個(gè)向量的長(zhǎng)度,兩個(gè)向量的夾角,向量到子空間的投影等是什么意思,在這一節(jié)里,我們要把函數(shù)逼近問(wèn)題與歐氏空間聯(lián)系起來(lái),研究歐氏范數(shù)下的最佳逼近。4.1 線(xiàn)性?xún)?nèi)積空間定義 4.1 設(shè) 為實(shí)線(xiàn)性空間,如果對(duì)每一對(duì)向量 ,都有一yx,實(shí)數(shù)與之對(duì)應(yīng),把這一實(shí)數(shù)記為 ,并且這一對(duì)應(yīng)具有下列性質(zhì)),(yx1) ,),(,xy2) ,3) ,),(,),(zz64) ,等號(hào)成立當(dāng)且僅當(dāng) , ( 的零向量) 。(,)0x0x則稱(chēng) 為 x 和 y 的內(nèi)積,一個(gè)線(xiàn)性空間,如果其中定義了滿(mǎn)足上述四條公理的內(nèi)積,我們稱(chēng)之為內(nèi)積空間。例 4.1 設(shè) ,對(duì) ,定義內(nèi)積,baC(),fxgCab,易驗(yàn)證它滿(mǎn)足公理 1)-4) 。dxgffba)(),(例 4.2 令 (n 維實(shí)向量空間) ,對(duì)其中向量R,Tn),(21 Tnyy),(21定義內(nèi)積 nxxyx21),易知它滿(mǎn)足公理 1)-4) 。令 ,可以證明 滿(mǎn)足第二章中關(guān)于范數(shù)的公理,即),()N)(N是一種范數(shù),稱(chēng)為由內(nèi)積導(dǎo)出的范數(shù),通常記作 ,在不發(fā)生混淆(x 2x的情況下也可簡(jiǎn)記為 。x定義 4.2 設(shè) 為內(nèi)積空間, ,若 ,則稱(chēng) x 與 y 正yx,0),(y交,記作 4.2 線(xiàn)性?xún)?nèi)積空間的最佳逼近設(shè) , , 是線(xiàn)性?xún)?nèi)積空間 的 n+1 個(gè)線(xiàn)性無(wú)關(guān)的元素,子01n集 ,在 中尋求對(duì)的 某一元素 f 的最佳逼近 ,,spa*S即對(duì) 有S*fSf7定理 4.1 是集合 中對(duì) f 的最佳逼近元素,其充要條niiCS0*件是 與所有 正交。f* ),1(j證明 先證充分性,設(shè) S 是 中任一元素,考慮 fSf*由于 與所有 正交,從而 也與 正交,因此fS*j*),(),( *2 fSffSf 22*S*f從而 就是最佳逼近元素,充分性得證。*S再證必要性,假設(shè) 是 中元素, 與 , 中某一元素1SfS10n不正交,記k,則kk且 0),(1kSf記 kS12易知 ,現(xiàn)估計(jì) 的范數(shù)2Sf),(),( 1122 kksfff (, 21 SSf28從而推得2Sf21f即 不是最佳逼近元,必要性得證。1S推論 最佳逼近元素如果存在,必定是唯一的。事實(shí)上,如果在子集 中有兩元素都是 f 的最佳逼近,則由定理 4.1必有,j=0,1 , , n),(),(21jjSfSf于是 和 都與 正交,于是有21=0 212212121 ),()(),( SfSfSS這就表示 。下面,我們證明最佳逼近元素是存在的并將其構(gòu)造出來(lái),由定理 4.1最佳逼近元 ,必須滿(mǎn)足:jnjCS0, k=0,1 , , n (4.1)0,njkjf式(4.1)即, k=0,1 , , n (4.2)),(,0kkjnj fC從而由下列方程組所決定9(4.3) ),(),(),(),( , )()()()(100 11101 00nnn nfCCf 方程組(4.3)通常稱(chēng)為法方程組。現(xiàn)在我們研究方程組的系數(shù)行列式(4.4)0010110101(,)(,)(,)(,)(,)(,)(,)nn nG 稱(chēng)為關(guān)于 的 Gram 行列式。),(10n n定理 4.2 子集 的元素 , , 線(xiàn)性相關(guān)的充要條件是它們1f2nf的 Gram 行列式 等于零。),(1nfG證明 先證必要性。由于 , 線(xiàn)性相關(guān),因此有一組不全為零1fnf的數(shù) , , , ,使得12n 021kff上式分別對(duì) , 作內(nèi)積有1fkf0),(),(),( , )()()(21 22 1211 kkk kkfff fff 這是關(guān)于 , 的齊次線(xiàn)性方程組,由于 , , 不全為1 12k零,故推出其系數(shù)行列式必為零,從而100),(21kffG再證充分性,假設(shè) ,研究下列方程組 0),(),(),( , )()()(21 22 1211 kkk kkfff fff 容易明白它必有非零解,設(shè)為 。令k kfff21易知 ,另一方面,對(duì)上式分別用 作內(nèi)積可得f,1, ,0),(1f),(2f0)(fk從而有 ),(,(21fffk由于 不全為零,故 線(xiàn)性相關(guān)。定理的充分性得證。k,21 ,1現(xiàn)在我們回到方程組(4.3)的討論,由于 是 的線(xiàn)性無(wú)n,10 關(guān)元素,故 ),(10nG從而(4.3)的解存在且唯一。也就是說(shuō),最佳逼近元素是存在的并可由(4.3)構(gòu)造出來(lái)。下面再給出誤差估計(jì)式,記 為最佳逼近誤差,*Sf則有11),(22 SffSf),(*ff),(),S(4.5)),(),(*1*0* fCffCf n至此,關(guān)于內(nèi)積空間的最佳逼近元素的特征,存在唯一性,構(gòu)造及誤差估計(jì)已全部論述清楚了。同一列 在不同的 K 中,其 收斂性可能不同ns例:1,02()2,0,1nxnsxn220,1() 03nLsd而 ,Cx4.3 函數(shù)的最佳平方逼近設(shè)a,b為有限或無(wú)限的區(qū)間,定義在它上面的函數(shù) ,如果具有下)(x12列性質(zhì):1) ,0)(xba2) 0, dc,0cdc3)積分 存在, n=0,1,。xban)(則稱(chēng)其為a,b上的權(quán)函數(shù)。對(duì)于在a,b上給定的函數(shù),引入內(nèi)積 dxgfxgfba)()(),(22這里 為權(quán)函數(shù),總假設(shè)積分)(x(4.6)dxfba)(2是存在的。我們研究滿(mǎn)足(4.6)存在的函數(shù)全體組成的內(nèi)積空間,并選子集 。在子集 上尋找一函數(shù),10nsp為中某一函數(shù) f(x)的最佳逼近,是指對(duì)于)()(*0*xCxSjnj,都有(4.7)dSfba2*)()( dxSfba2)()((4.7)式的意義就是誤差 的平方在積分意義下達(dá)到極njjxCxf0*小,因此對(duì)于這種逼近就稱(chēng)為函數(shù)的最佳平方逼近,或稱(chēng)為最小二乘逼近,由于它是一個(gè)特殊的線(xiàn)性?xún)?nèi)積空間,因此最佳逼近的存在性,唯一性,解13的構(gòu)造,誤差估計(jì)等等已由 4.2 節(jié)全部回答了。我們?cè)谶@里指出, (4.7)也可從另外的觀點(diǎn)來(lái)得解,我們知道, 上任一函數(shù)可寫(xiě)成 ,而積分njjxC0)(dxCfnjjba 20)()(是關(guān)于 的二次多元函數(shù),記n,10(4.8)dxxfCI njjban 2010 )()(),( 在子集尋找對(duì) f 的最佳平方逼近函數(shù),就是尋找函數(shù) 的極),10nCI小值。其必要條件是, k=0,1 , , nkCI從而有 0()()()()nb bkii ka aixxfdx寫(xiě)成內(nèi)積符號(hào)就是,k=0,1 , , n0(,)(,)nkjkjCf上式恰巧就是(4.3)式。當(dāng)然,從函數(shù)極小值的討論去構(gòu)造最佳逼近函數(shù),其存在性,唯一性等都要建立一套理論來(lái)回答這些問(wèn)題,但是由于我們已建立了一套最佳逼近理論,所以在解決具體問(wèn)題時(shí)運(yùn)用求極小值的辦法,常常會(huì)帶來(lái)演算的方便。),(10nCI14例 4.3 在空間 給定元素 ,子集 由 1, x 的線(xiàn)性1,4Cxf)(組合構(gòu)成(線(xiàn)性多項(xiàng)式空間) ,試求 在 中的最佳平方逼近(?。?。1)(x解 由于 , 故0x1,143(,)dt 3215),(),(01041td62,14dt另外又有 1407(,)2ft143,80ftd設(shè)最佳逼近元為 ,據(jù)(4.3)列出法方程式01axy80316423570a解得 135,270即線(xiàn)性函數(shù) 8xy15為 在子集 中的最佳平方逼近函數(shù)。xy從例 4.3 可以看出,平方逼近算法簡(jiǎn)單。例 4.4 取 ,1)(x,k= 0,1 , , n, ,在 中求 的 n 次kkx)(1,0)(CxfnPf最佳平方逼近多項(xiàng)式 nxaaS10)(此時(shí) , j,k=0, 1, , n10(,)kjjkxdj則法方程組(4.3)的系數(shù)矩陣為(4.9)1213211),1( nnnxGn 這是一個(gè) Hilbert 矩陣,前面我們已經(jīng)知道當(dāng) n 較大時(shí),系數(shù)矩陣(4.9)是高度病態(tài)的,求解時(shí)舍入誤差很大,這是很不利于計(jì)算的,為避免這種情況,需要引入正交基的概念。4.4 正交基如果 是兩兩互相正交的( 稱(chēng)為 的一組正n,10 n,10 交基) ,法方程組的系數(shù)矩陣為對(duì)角陣, (4.3)成為16 ),(),(,),( )(),( 11 010 nnfCfC從而直接可得,i =0,1 , , n (4.10)(,)iifC這樣就不存在方程組病態(tài)的問(wèn)題了。如果假設(shè) 的范數(shù)均為 1 ( 稱(chēng)為 的一組標(biāo)n,10 n,10 準(zhǔn)正交基) ,那么進(jìn)一步有,i =0,1 , , n (4.11)(,)iCf在這種情況下, 1(,)niiSf而(4.5)式的誤差估計(jì)式有(4.12)220|niiffC上式左端恒正,故又有 Bessel 不等式(4.13)20|niif如果對(duì)所有的 i, 都存在, 稱(chēng)為 f 的廣義 Fourier 展開(kāi),i0iiC稱(chēng)為廣義 Fourier 系數(shù)。iC17下面用正交化過(guò)程來(lái)證明正交基的存在性。定理 4.3 任何 n 維空間都存在正交基證明 按照 n 維空間的定義,存在一組基 ,由這組基,通過(guò)nf,1正交化過(guò)程,可以構(gòu)造出兩兩正交的基 。ne,1令 ,在 所在“平面”上找,也就是找具有下列形式的1fe1,f12fe選擇數(shù) ,使 ,即使0),(12 0),(12f由此得 ),/(,12ef設(shè)兩兩正交而異于零的向量 已經(jīng)構(gòu)造出來(lái),向量 要求1ke ke具有形式 121efekkkk 選擇系數(shù) 使 與向量 正交,即滿(mǎn)足11, 1,e 0)(1fkk ,21 0),(11kkeef由于 兩兩正交,故上述等式簡(jiǎn)化為:1,ke,),(),(11fkk,022ee 18。0),(),(11kkeef由此得 ,/,11fkk)(222e ),/(),(111kkf最后我們利用 線(xiàn)性無(wú)關(guān)的條件來(lái)證明 ,注意到nf,2 0ke是 和 的線(xiàn)性組合, 又可表示為 和 的線(xiàn)性kef1,ke 1ke1f12,組合,依此類(lèi)推最后可將 表示為k 11kkff的系數(shù)為 1,而 線(xiàn)性無(wú)關(guān),所以 ,證畢kf kf, 0e以上的正交化方法通常稱(chēng)為 Schmidt 正交化過(guò)程。§5 正交多項(xiàng)式若首項(xiàng)系數(shù) 的 n 次多項(xiàng)式 ,滿(mǎn)足0na)(xgn(j,k=0,1,) kjAdxgxkkjba 0)()(則稱(chēng)多項(xiàng)式序列 在a,b上帶權(quán) 正交,并稱(chēng) 是,10 )(x)(xgna,b上帶權(quán) 的 n 次正交多項(xiàng)式。)(x一般來(lái)說(shuō),當(dāng)權(quán) 及區(qū)間a,b給定后,從序列 就可用,124.4 節(jié)所述的 Schmidt 正交化過(guò)程構(gòu)造出正交多項(xiàng)式。用上述方法只能19一個(gè)接一個(gè)地構(gòu)造出正交多項(xiàng)式,在使用上有所不便,利用多項(xiàng)式的某些性質(zhì),我們可以得到一些更直接,更方便的方法來(lái)構(gòu)造正交多項(xiàng)式,較重要的有下列幾類(lèi):5.1 勒讓德(Legendre)多項(xiàng)式當(dāng)區(qū)間為-1,1,權(quán)函數(shù) 時(shí),由 正交化所得的多1)(x,2x項(xiàng)式就作為 Legendre 多項(xiàng)式并用 表示,這一類(lèi) )()(,0Pn正交多項(xiàng)式有如下的簡(jiǎn)單表達(dá)式,n=0 ,1, (5.1))(!21)(,)( 20 nnxdxP由于 是 2n 次多項(xiàng)式,求 n 階導(dǎo)數(shù)后得x12 01)()1(!)( axann于是得到首項(xiàng) 的系數(shù) ,顯然最高系數(shù)為 1 的 Legendre 多nx2)!(an項(xiàng)式為(5.2))1()!2(2nnnxdxPLegendre 多項(xiàng)式有下述幾個(gè)重要性質(zhì)性質(zhì) 1 正交性(5.3) nmdxPmn120)(120證明 令 ,則 (k=0 ,1, ,n-1) 。nx)1()20)(k設(shè) 是在區(qū)間-1,1上有 n 階連續(xù)可微的函數(shù),由分部積分知)(xQdxQdPnn)(!2)(11xn)(!211dn)(1)(下面分兩種情況討論(1)若 是次數(shù)小于 n 的多項(xiàng)式,則 ,故得)(xQ0)(xQn,當(dāng)0)(1dxPmm(2)若 ,)!(2!2)( nnn xx,)(xQnn于是 12212 )()!() dxdxPnnn 122(nn由于 ,故 102102 )34cos)(dxdxn 12)(12nPn于是(5.3)得證。21性質(zhì) 2 奇偶性(5.4))(1)(xPxnn由于 是偶次多項(xiàng)式,經(jīng)過(guò)偶次求導(dǎo)仍為偶次多項(xiàng)式,)(2經(jīng)過(guò)奇次求導(dǎo)則為奇次多項(xiàng)式,故 n 為偶數(shù)時(shí)為偶函數(shù), n 為奇數(shù)時(shí)為奇函數(shù),于是(5.4)式成立。性質(zhì) 3 遞推關(guān)系 考慮 n+1 次多項(xiàng)式它可表示為 )()()()( 110 xPaxaPxn兩邊乘以 ,并從-1 到 1 積分,得Pk ddkkn12)()(當(dāng) 時(shí), 次數(shù)小于等于 n-1,上式左端積分為 0,故得2nx,當(dāng) k=n 時(shí) 為奇函數(shù),左端積分仍為 0。故 ,于是0ka)(2Pn na)()(11xPaxnn其中 1242)(2111 ndxnan1133()() 3nnP從而得到以下的遞推公式(n=1,2 , ) 1 n1()(2)(x)nnxxP (5.5)22由 , ,利用(5.5)式就可推出1)(0xPx)(, ,2/)1322/)35()3xxP,8/05()44,765x,16/)24P性質(zhì) 4 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中,Legendre 多項(xiàng)式在-1,1上與零的平方誤差最小。)(xPn設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式,它可表示為Q)()(0xPaxkknn于是 dxQnn)(),(21,0nkkn PaP當(dāng)且僅當(dāng) 時(shí)等號(hào)才成立,即當(dāng) 時(shí)平110a )(xn方誤差最小。性質(zhì) 5 在區(qū)間(-1,1)內(nèi)有 n 個(gè)不同的實(shí)零點(diǎn)。)(xPn前幾個(gè) Legendre 多項(xiàng)式的圖形如下:235.2 切比雪夫(Chebyshev)多項(xiàng)式(3.1))arcos()(xnxTn如此定義的 是 x 的多項(xiàng)式嗎?試看 n=0 和 n=1 的情形:1)(0xT)cosar1注意到如下的三角恒等式: cos2)1()( nn令 ,則有xarcos, n=1,2, (3.2))(2)(11xTTnn不難看出 確實(shí)是 n 次多項(xiàng)式且與 n 的奇偶性相同,即 隨)(xTnn 為奇數(shù)或偶數(shù)而成為 上的奇函數(shù)或偶函數(shù)。,24顯然 的最高次項(xiàng) 的系數(shù)為 ,即)(xTnnx12n(3.3))(21的 低 次 多 項(xiàng) 式稱(chēng)為 n 次 Chebyshev 多項(xiàng)式。)(n前 9 個(gè) Chebyshev 多項(xiàng)式如下表表 3-1 1321602518)( 76483)(1842)(14877 243552330 xxxTxxTxT顯然(3.4)1)(max1n并且在點(diǎn)列cos 0,kkn1= =10x1x上, 以正負(fù)交錯(cuò)的符號(hào)取到它的絕對(duì)值的最大值 1。)(xTn25(3.6)kknxT)1(根據(jù)定理 2.2,首項(xiàng) 系數(shù)為 1 的多項(xiàng)式n)(2)(1xn為所有 系數(shù)為 1 的 n 次多項(xiàng)式類(lèi)中唯一的,在-1,1上與零偏差最小的nx多項(xiàng)式。的 n 個(gè)零點(diǎn)全位于(1,1)內(nèi),且都是單重的,它們是:。)(T, (3.7)2coskx1,kn從幾何上看,如果將以原點(diǎn)為圓心,以 1 為半徑的上半圓周分成 2n 等分,再把圓周上所有奇分點(diǎn)位往 x 軸上投影,則恰好得到點(diǎn)列(3.7) 。此外,實(shí)際計(jì)算中時(shí)常要求 用 , , 的線(xiàn)性組合表示,n0T1n其公式為 2021)(nkknxx這里規(guī)定 ,n=18 的結(jié)果見(jiàn)表 3-2。20T表 3-226)82563(12874)6150(26)43(81)(2164053742352043200 TTxxTxTx它還是一類(lèi)重要的正交多項(xiàng)式。Chebyshev 多項(xiàng)式有很多重要性質(zhì):性質(zhì) 1 正交性Chebyshev 多項(xiàng)式 在區(qū)間-1,1上帶權(quán) 正交,)(xTn 2()1/xx且(5.7) .0,;2,1)(2nmdxmn事實(shí)上,令 ,則 ,于是cosxsin271200,;()cos02,.nm nmTxdnd 性質(zhì) 2 遞推關(guān)系,n=1,2,)()(2)(1xTxTnn,0這只要由三角恒等式cos()coscos()1n令 即得。x性質(zhì) 3 只含 x 的偶次冪, 只含 x 的奇次冪,這性質(zhì))(2Tk )(12Tk由遞推關(guān)系直接得到。性質(zhì) 4 在區(qū)間(-1,1)上有 n 個(gè)零點(diǎn) ,)(n nkk21cosk=1,2, , n。前幾個(gè) Tchebyshev 多項(xiàng)式的圖形如下:285.3 無(wú)窮區(qū)間上的正交多項(xiàng)式正交多項(xiàng)式的正交區(qū)間a,b也可以是無(wú)界區(qū)域,當(dāng)然此時(shí)權(quán)函數(shù)必須保證 ,n=1,2, 。()x()bnaxd1拉蓋爾(Laguerre)多項(xiàng)式 在區(qū)間 上帶權(quán) 的正交多項(xiàng)),0xe式稱(chēng)為 Laguerre 多項(xiàng)式,其表達(dá)式為 ()()nxxndLe它也具有正交性質(zhì) 20 0,()(!)xnmnedx 和遞推關(guān)系,1)(0L)(29,n =1,2,。)()(21() 12xLxnxLn 2埃爾米特(Hermite)多項(xiàng)式 在區(qū)間 上帶權(quán) 的正),2xe交多項(xiàng)式稱(chēng)為 Hermite 多項(xiàng)式,其表達(dá)式為 )()1(22xnxnedH它滿(mǎn)足正交關(guān)系 nmxennmx ,!20)(20 并有遞推關(guān)系, ,1)(0H)(n=1,2,。2)(1 xnxn 5.4 一般正交多項(xiàng)式的幾個(gè)重要性質(zhì)性質(zhì) 1 在 空間中, 首一的 n 次正交多項(xiàng)式 在所有2,Lab ()npx最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中與零的偏差最小。設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式,它可表示為)(xQn0()()nnkpxapx于是120(,)(),(),(nnnkkxxp( 勾 股 定 理 )30當(dāng)且僅當(dāng) 時(shí)等號(hào)才成立,即當(dāng)0110naa時(shí)平方誤差最小。)(xPQnn推論 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中,Legendre 多項(xiàng)式在-1,1上與零的平方誤差最小。)(n性質(zhì) 2. 首一的 Chebyshev 多項(xiàng)式 在所有最高次項(xiàng)系數(shù)為 1()nTx的 n 次多項(xiàng)式中在-1,1上與零的一致偏差最小。定理 5.1 是a,b 上帶權(quán) 的 n 次正交多項(xiàng)式的充分必要條()npx)(x件是: 是 n 次多項(xiàng)式并且()k=0,1,n-1()0bknad證明是容易的,從略。定理 5.2 設(shè) 是 a,b上帶權(quán) 的 n 次正交多項(xiàng)式,則()npx)(x的零點(diǎn)全位于(a,b) 內(nèi),并且都是單重的。npx證明:設(shè) ,如果,不妨設(shè) ,令1()nkkxx1xa,據(jù)定理 5.1,2()nkqxn-P()()0bnaxpqdx但是上式中的被積函數(shù)為 ,積分21,a.e(,)b應(yīng)當(dāng)大于 0,矛盾。同理可證所有的零點(diǎn)不可能大于 b,出現(xiàn)一對(duì)共軛復(fù)數(shù)或?yàn)槎氐摹?1§6 離散情況的最佳平方逼近在§4 論述了內(nèi)積空間的最佳逼近理論。現(xiàn)在我們討論離散情況的最佳平方逼近。對(duì)于 n 維歐氏空間中任二向量,nxX21nyY21其內(nèi)積定義為,iiTY1),(相應(yīng)的范數(shù)為.2(,)Xx給定歐氏空間的一個(gè)子集 ,其中 為線(xiàn)性無(wú)關(guān)1lspaniX組。子集 對(duì)某一向量 Y 的最佳逼近,是指在 中尋找一向量 使它對(duì)的任意向量 X 都滿(mǎn)足不等式.YX如果 ,也即子集 是一個(gè) n 維歐氏空間,那么由線(xiàn)性代數(shù)的知識(shí),nl恒有唯一的一組常數(shù) 使c,21 ,1niiXY此時(shí) ,因此 就是 Y 的最佳平方逼近,下面我們討論0XYl n 的情況。32由§4 定理 4.1, 與所有 正交,即XYlX,21, k=1,2 , , l0),(k記, ,iliXc112iinix那么有 ).,(,1kkili Yc從而 由下列方程組所決定:ic,21(6.1) ),(),(),(),( , )()()()(21 22212 11lllll lXYccXccc 其中 nkjijTiji x1,),(1, .njiikYXy(6.1)可寫(xiě)成33,,),( 2121 YXcXTjllTjTjj j=1,2,l.容易看出,上式又可寫(xiě)成 .),(),(),( 2122121 YXcXXTlllTl 引入 階矩陣ln(6.2 )12121212(,)llnnlxxAX 于是上式可寫(xiě)成(6.3).YACTT其中 為 l 階方陣, 分別為 l, n 維向量,AT,, .lc21nyY21容易看出, (6.3)式的系數(shù)矩陣 是對(duì)稱(chēng)的。由于 為線(xiàn)AT lX,21性無(wú)關(guān)組,我們可進(jìn)一步推出矩陣 是正定的。事實(shí)上,對(duì)于 l 維歐氏34空間的任一向量 g,考慮 的二次型有:AT,0),(),(g其中等號(hào)僅當(dāng) 時(shí)才成立:即有 ,或即0T.0),(1221 TiliTll Xgg由 是線(xiàn)性無(wú)關(guān)組推得 ,即 。從而,當(dāng) 時(shí)lX,21 0i 0g有0,),(gAT也就是說(shuō)矩陣 是正定矩陣。由于矩陣 是正定的,所以可建立求解AT T(6.3)的特殊方法,例如平方根法,喬列斯基(Cholesky)法。若 兩兩正交,則矩陣成 為對(duì)角形,即),21(liXT,2221lT XxA從而(6.3)的解變?yōu)椋海琲=1,l nknkiiTii xyXYC1212/§7 數(shù)據(jù)擬合的最小二乘法357.1 問(wèn)題的引入在工程實(shí)踐和科學(xué)實(shí)驗(yàn)中,量與量之間的關(guān)系表現(xiàn)為:1)確定性關(guān)系:如電學(xué)中著名的歐姆定律就是確定性的關(guān)系。用 V 表示電壓, R 表示電阻, I 表示電流,歐姆定律指出 .RIV有的確定性關(guān)系是由微分方程或積分方程來(lái)描述的。例如,阻尼振動(dòng)中,位移 x 與時(shí)間的確定性關(guān)系由微分方程 022xdttx所決定,其中 為固有頻率, 為阻尼系數(shù)。02)非確定性關(guān)系:由于因素的復(fù)雜性或其它原因,變量之間找不到完全確定的關(guān)系。例如紗的回潮率與原棉含水量之間;鋼水含碳量與冶煉時(shí)間;魚(yú)的活動(dòng)與海水溫度;臺(tái)風(fēng)登陸路徑與沿海各地的風(fēng)向、氣溫、濕度之間等等,這些量之間,既存在密切關(guān)系,又不能由一個(gè)(或幾個(gè))變量的數(shù)值精確地求出另一個(gè)變量的值。但是通過(guò)人的實(shí)踐,通過(guò)儀器,我們獲得了大量的實(shí)驗(yàn)數(shù)據(jù),這些大量的偶然現(xiàn)象,始終是服從內(nèi)部隱藏著的規(guī)律的?,F(xiàn)在我們又回到數(shù)值逼近范圍內(nèi)來(lái)談這個(gè)問(wèn)題,為了敘述方便,先討論兩個(gè)變量 x, y 的情況。也就是說(shuō),通過(guò)觀測(cè)變量 x, y 積累了一組資料,i=1,2 , , n, 一般地說(shuō) n 都比較大。我們的任務(wù)是從積累得),(i到的實(shí)驗(yàn)數(shù)據(jù) ,i=1 , 2, , n, 尋求一近似函數(shù) 去逼近),(i )(y。 由于觀測(cè)數(shù)據(jù)都帶有觀測(cè)誤差,數(shù)組 數(shù)目又較大,對(duì)于這類(lèi)問(wèn)),(iyx題運(yùn)用插值函數(shù)去描述 y 往往是不適當(dāng)?shù)摹N覀円韵旅娴睦觼?lái)說(shuō)明建36立近似函數(shù) 的一種辦法,即最小二乘法。)(x+例 7.1 合成纖維抽絲工段,第一導(dǎo)絲盤(pán)的速度對(duì)絲的質(zhì)量是很重要的參數(shù),現(xiàn)發(fā)現(xiàn)它和電流周波有重要關(guān)系,由生產(chǎn)記錄得到的數(shù)據(jù)如下表:周波x49.2 50.0 49.3 49.0 49.0 49.5 49.8 49.9 50.2 50.2第一導(dǎo)絲盤(pán)速度( y)16.7 17.0 16.8 16.6 16.7 16.8 16.9 17.0 17.0 17.1表 4今要研究 y 與 x 的關(guān)系,通常的步驟如下:1)先用一坐標(biāo)紙,將 描于圖上(圖 8) 。),(iy圖 7.12)憑視覺(jué)約略知道 在一條直線(xiàn)的兩側(cè)附近,于是猜想 y 與 x),(iyx37近似地成直線(xiàn)關(guān)系,bxay上面直線(xiàn)關(guān)系式稱(chēng)為數(shù)學(xué)模型。在第 i 次觀測(cè)數(shù)據(jù)中, 與實(shí)測(cè)值 有誤iyi差,i= 1,2 , , n,)(iii xy將它們平方后加起來(lái)得到總誤差: ).,()(2121 baIiiniini 我們當(dāng)然希望,數(shù)學(xué)模型(主觀猜想)應(yīng)盡量接近客觀實(shí)際,即總誤差越小越好,也就是選取 a,b 使 I(a,b)最小。問(wèn)題又回到了內(nèi)積空間21ini的最佳逼近。定義向量 Y、 X、 E 分別為, ,ny21nx21.n 維歐氏空間的一個(gè)子集 SpanX, E對(duì) Y 的最佳平方逼近就是選取 a,b使向量 ba的范數(shù)達(dá)到極小,即 )()(2 XEYYT(7.2).min,21 baIxyiini(7.2)與(7.1)的提法完全一致。從問(wèn)題的來(lái)源看,確定使誤差平38方和達(dá)到最小的方法稱(chēng)為最小二乘法,高斯對(duì)于天文觀測(cè)數(shù)據(jù)的處理就運(yùn)用了這個(gè)方法。依照我們建立的理論,a,b 由下列方程組所決定:niniiiii yaxbx112.,解之有 ,1212niniiiiii xyyxa.1212niniiiixyyb運(yùn)用表 4 的數(shù)據(jù)求得a=0.04, b=0.339,即 .3904.xy必須指出,這里所說(shuō)的歐氏空間最佳逼近,并不是說(shuō) 是 ybxay的最佳數(shù)學(xué)模型。因此就存在著另一個(gè)問(wèn)題,上述數(shù)學(xué)模型是否符合客觀實(shí)際呢?也就是說(shuō),如何檢查數(shù)學(xué)模型的質(zhì)量呢?當(dāng)然,最根本的辦法是拿到生產(chǎn)中去考驗(yàn),但當(dāng)觀測(cè)數(shù)據(jù)積累多了以后,就能夠建立一套數(shù)學(xué)理論去檢驗(yàn)數(shù)學(xué)模型的準(zhǔn)確性,偶然的現(xiàn)象,隱藏著必然的規(guī)律,概率統(tǒng)39計(jì)的課程里將介紹這個(gè)問(wèn)題。例 7.2某航空售票點(diǎn)(PVG-IAD)機(jī)票銷(xiāo)售加價(jià)和預(yù)期銷(xiāo)售量之間的關(guān)系加價(jià)額度x(元)銷(xiāo)售量P(張/周) 加價(jià)額度x(元)銷(xiāo)售量P(張/周)50 58 225 5475 53 250 52100 59 275 50125 55 300 47150 62 325 35175 62 350 27200 55對(duì) P 和 x 的關(guān)系用三次多項(xiàng)式進(jìn)行擬合,用最小二乘法可解得 32()0.2680.790.43765.813xxx40最小二乘法模型中的非線(xiàn)性函數(shù)例 7.3 已知 及擬合這批數(shù)據(jù)的非線(xiàn)性數(shù)學(xué)模(,)0,1)ixyN型 (a,b 為待定參數(shù)))byae1如何將非線(xiàn)性模型線(xiàn)性化?2寫(xiě)出線(xiàn)性化模型中待定系數(shù)的法方程。3設(shè)數(shù)據(jù) (,)0,1)ixyN 如下:i0 1 2 3i2.010 1.210 0.7400 0.4500iy2.0027 1.2169 0.7395 0.449341求出擬合上述數(shù)據(jù)的非線(xiàn)性擬合函數(shù)。1、設(shè) 則模型成為ylnbxayln)(2、設(shè) BbAa法方程式為xniiiniii yxBx1123、 49815.068071.214697.3190.682131001BABA最后擬合的非線(xiàn)性函數(shù) .95().0xyxe=1.0226e-0042> c,renorm= lsqnonlin(fun1117,x0)Local minimum found.0 1 2 3y2.010 1.210 0.7400 0.45000.6981 0.1906 -0.3011 -0.798542c=2.0076 -0.5008renorm = 6.7226e-005例 7.4 出鋼時(shí)所用盛鋼水的鋼包,由于鋼水對(duì)耐火材料的浸蝕,容積不斷增大,我們希望找出使用次數(shù)與增大的容積之間的關(guān)系。試驗(yàn)數(shù)據(jù)如下表:使用次數(shù)增大容積使用次數(shù)增大容積使用次數(shù)增大容積ixiyixiyixiy2 6.42 7 10.00 12 10.603 8.20 8 9.93 13 10.804 9.58 9 9.99 14 10.605 9.50 10 10.49 15 10.906 9.70 11 10.59 16 10.76解 將數(shù)據(jù)標(biāo)在坐標(biāo)紙上(參見(jiàn)圖 7.2) ,我們看到,開(kāi)始時(shí)浸蝕速度快,然后逐漸減弱,顯然鋼包容積不會(huì)無(wú)窮增加,于是可以想象它有一條平行于 x 軸的漸近線(xiàn),根據(jù)這些特點(diǎn)我們選取數(shù)據(jù)擬合的曲線(xiàn)為雙曲線(xiàn)。43圖 7.2假設(shè)選擇的數(shù)學(xué)模型為:,xbay1令 ,1,xy于是上式變?yōu)?bay解得結(jié)果如下:a=0.0823, b=0.1312.從而 ,132.08.1xy即 .13208.1xy44若將曲線(xiàn)擬合的雙曲線(xiàn)模型改成指數(shù)形式 ,xbaey將上式兩邊取對(duì)數(shù) .lnx,l,1,l bay則有 .xy求得 .107,458.2ba從而 .,69.1ea最后求得 .78.107xey怎樣比較數(shù)學(xué)模型的好壞呢?雙曲線(xiàn)模型的誤差為 ,132.08.)1( xy指數(shù)形式模式模型的誤差為 .679.107)2( xey針對(duì)建立的模型比較實(shí)測(cè)值與擬合值的誤差如下表:45實(shí)測(cè)值 擬合值 擬合值 誤差 誤差 實(shí)測(cè)值擬合值 擬合值 誤差 誤差iy雙曲模型指數(shù)模型(1)i(2)iiy雙曲模型指數(shù)模型(1)i(2)i6.42 6.761 6.702 -0.341 -0.282 10.49 10.479 10.451 0.011 0.0398.20 7.934 8.065 0.266 0.135 10.59 10.612 10.557 -0.022 0.0339.58 8.687 8.847 0.893 0.733 10.60 10.725 10.646 -0.125 -0.0469.50 9.212 9.353 0.288 0.147 10.80 10.823 10.723 -0.023 0.0779.70 9.599 9.705 0.101 -0.005 10.60 10.908 10.788 -0.308 -0.18810.00 9.896 9.965 0.104 -0.035 10.90 10.983 10.845 -0.083 0.0559.93 10.131 10.165 -0.201 -0.235 10.76 11.049 10.896 -0.289 -0.1369.99 10.322 10.322 -0.332 -0.333 ,19.)28.0()26.0()341.()(12 nii .4)36.()5.()8.()( 22212 nii由于 較小,所以我們選擇指數(shù)模型作為鋼包使用次數(shù)與增大容(2)1nii積之間的近似關(guān)系。選擇合適的曲線(xiàn)模型是一件不容易做到的事情,主要靠人們對(duì)問(wèn)題所屬的專(zhuān)業(yè)知識(shí)的了解來(lái)定,如專(zhuān)業(yè)上也不清楚時(shí),可用坐標(biāo)紙描出點(diǎn)來(lái)從數(shù)學(xué)上加以選擇。46§9 問(wèn)題與探索:最小二乘法模型中的非線(xiàn)性函數(shù)和約束條件最小二乘問(wèn)題中所包含的條件方程一般可能是非線(xiàn)性的??墒?,通常是用線(xiàn)性函數(shù)進(jìn)行最小二乘處理,因?yàn)閷で蠓蔷€(xiàn)性方程的最小二乘解是相當(dāng)困難的,所以,每當(dāng)模型中的方程原來(lái)是非線(xiàn)性時(shí),必須采用某種線(xiàn)性化方法獲得線(xiàn)性方程。為此目的,常常應(yīng)用級(jí)數(shù)展開(kāi)式,特別是泰勒級(jí)數(shù),只利用級(jí)數(shù)展開(kāi)式的零階和一階項(xiàng),省去其他高階項(xiàng)。當(dāng)應(yīng)用某一級(jí)數(shù)展開(kāi)式時(shí),對(duì)方程中的未知數(shù)必須選取一組近似值。這些近似值的選擇是解算問(wèn)題的一個(gè)重要方面??上У氖?,還沒(méi)有一個(gè)選取近似值的具體而唯一的途徑能用于所有最小二乘問(wèn)題。有時(shí)依靠經(jīng)驗(yàn),另一些時(shí)候可以采用某些近似計(jì)算。在各種情況下,都應(yīng)力圖利用比較簡(jiǎn)單的方法得到接近的近似值。為了說(shuō)明怎樣進(jìn)行線(xiàn)性化,令(8.1)0)(xf表示任一非線(xiàn)性方程組,包括 m 個(gè)方程,其中 x 是未知變量的向量。如用表示變量的近似值向量,級(jí)數(shù)展開(kāi)式的零階和一階項(xiàng)將為0x(8.2)0)(00xFf為函數(shù)對(duì)于變量向量中各元素的一組偏導(dǎo)數(shù),是一個(gè) 維的矩陣pm(Jacobi 矩陣) 。向量是代替未知數(shù)向量 x 的近似值的改正數(shù)向量。利用級(jí)數(shù)展開(kāi)的結(jié)果,是把非線(xiàn)性方程變成為線(xiàn)性方程組,其一般形式是:(8.3)uxJ此處 )(0xFu47最小二乘法求解后,所得到的解是向量 ,如果原始近似值向量x充分接近,使得方程(8.2)足以代替方程(8.1) ,即級(jí)數(shù)的二階和高0x階項(xiàng)事實(shí)上是可省略的,則最后的最小二乘估值為 。可是,)(0x往往不是這樣接近的近似值, 與 x 相加只能得到一個(gè)改進(jìn)的近似值。0現(xiàn)在必須用更新的近似值向量再列出方程式(8.3)或(8.2) ,并應(yīng)用最小二乘求定更新的向量 ,它的各元素一般比第一次的小。這種用更新的近x似值向量重新線(xiàn)性化的過(guò)程繼續(xù)進(jìn)行,直到 的最后值小到可以不計(jì)時(shí),x終止迭代。最后估值 將是原始近似值和全部改正數(shù)向量 之和(或者是 x最后更新的近似值向量加上最后改正數(shù)向量) 。在許多實(shí)際問(wèn)題中,理論函數(shù) 個(gè)各個(gè)參變量12(;,)nfxb可能不完全獨(dú)立,它們的數(shù)值常受到某些物理或數(shù)學(xué)條件的約12,nb束。例如,在曲線(xiàn)擬合中,為使擬合函數(shù)或它的導(dǎo)數(shù)在某些點(diǎn)上有指定的數(shù)值,或?yàn)楸WC分段擬合曲線(xiàn)在連接點(diǎn)處連續(xù)與光滑,就出現(xiàn)等式約束條件;不等式約束條件產(chǎn)生于要求約束產(chǎn)生于要求擬合曲線(xiàn)具有正性、單調(diào)性與凸性等情況。同樣,在物理、統(tǒng)計(jì)、數(shù)學(xué)規(guī)劃、控制論與經(jīng)濟(jì)等領(lǐng)域中,經(jīng)常也會(huì)碰到約束條件的最小二乘問(wèn)題。因此,討論這類(lèi)問(wèn)題的計(jì)算方法具有重要的應(yīng)用價(jià)值。此處不擬討論約束最小二乘問(wèn)題的詳細(xì)解法,有興趣的讀者可參閱有關(guān)的教材或?qū)V?。非線(xiàn)性或帶約束條件的最小二乘問(wèn)題的解可以用 Matlab 的工具箱函數(shù)來(lái)求得。值得注意的是非線(xiàn)性問(wèn)題的迭代有可能陷入局部最優(yōu)解,因此無(wú)論用什么方法解此類(lèi)問(wèn)題,一個(gè)盡可能接近最優(yōu)解的初值的選取是非常重要的。如果對(duì)于最優(yōu)解的范圍有較多的了解或限制,則利用約束條件:4801Aby可以得到符合實(shí)際要求的解。