浙大概率論與數(shù)理統(tǒng)計課件——數(shù)理統(tǒng)計

1 2 第 五 章 大 數(shù) 定 律 和 中 心 極 限 定 理 關(guān) 鍵 詞 ：契 比 雪 夫 不 等 式大 數(shù) 定 律中 心 極 限 定 理 3 1 大 數(shù) 定 律背 景 本 章 的 大 數(shù) 定 律 ， 對 第 一 章 中 提 出 的 “ 頻 率 穩(wěn) 定 性 ” ， 給 出 理 論 上 的 論 證為 了 證 明 大 數(shù) 定 理 ， 先 介 紹 一 個 重 要 不 等 式 4 222225.1 ,0, 1X E X D XP X E XP X E X 定 理 契 比 雪 夫 不 等 式 ： 設(shè) 隨 機 變 量 具 有 數(shù) 學(xué) 期 望 方 差 則 對 于 任 意 都 有 ：定 理 的 為 ：等 價 形 式 ,f x證 明 ： 僅 就 X為 連 續(xù) 型 時 證 之 設(shè) X的 概 率 密 度 為 xP X f x dx 則 22x x f x dx 221 x f x dx 22 2D X ( )f x 5 例 1： 在 n重 貝 努 里 試 驗 中 ， 若 已 知 每 次 試 驗 事 件 A 出 現(xiàn) 的 概 率 為 0.75， 試 利 用 契 比 雪 夫 不 等 式 估 計 n,使 A出 現(xiàn) 的 頻 率 在 0.74至 0.76之 間 的 概 率 不 小 于 0.90。n A解 ： 設(shè) 在 重 貝 努 里 試 驗 中 ， 事 件 出 現(xiàn) 的 次 數(shù) 為 X， ,0.75b n則 X , 0.75 , 0.1875 ,E X np n D X npq n n Xf A n又 0.74 0.76 0.75 0.01XP P X n nn 而 20.18751 0.01 nn 18751 0.90n 18750n 6 隨 機變 量序列依概 率收斂 的定義 1 2 35.1 , , , ,0, 0,nn nX Xlim P XXpn 。定 義 ： 設(shè) 隨 機 變 量 序 列 X 若 存 在 某 常 數(shù) ， 使 得 均 有 ： 則 稱 隨 機 變 量 序 列 依 概 率 收 斂 于 常 數(shù) ， 記 為 ： X 7 1 2 2115.2 , , , , 10 1lim lim 1n nn kknn kn n kX Xn Y XnP Y P Xn 定 理 契 比 雪 夫 不 等 式 的 特 殊 情 形 ： 設(shè) 隨 機 變 量 序 列 X 相 互 獨 立 ， 且 具 有 相 同 的 數(shù) 學(xué) 期 望 和 相 同 的 方 差 ， 作 前 個 隨 機 變 量 的 算 術(shù) 平 均 ： 則 ， 有 ： 11 1 ,nn kkE Y E X nn n 證 明 ： 由 于 11 nn kkD Y D Xn 2 11 n kk D Xn 2221 n nn 2211 1n kk nP Xn 由 契 比 雪 夫 不 等 式 得 ：11 1n kn klim P Xn 8大 數(shù) 定 律 的 重 要 意 義 ：貝 努 里 大 數(shù) 定 律 建 立 了 在 大 量 重 復(fù) 獨 立 試 驗 中 事 件 出 現(xiàn) 頻 率 的 穩(wěn)定 性 ， 正 因 為 這 種 穩(wěn) 定 性 ， 概 率 的 概 念 才 有 客 觀 意 義 ， 貝 努 里 大數(shù) 定 律 還 提 供 了 通 過 試 驗 來 確 定 事 件 概 率 的 方 法 ， 既 然 頻 率 nA/n與 概 率 p有 較 大 偏 差 的 可 能 性 很 小 ， 我 們 便 可 以 通 過 做 試 驗 確 定某 事 件 發(fā) 生 的 頻 率 并 把 它 作 為 相 應(yīng) 的 概 率 估 計 ， 這 種 方 法 即 是 在第 7章 將 要 介 紹 的 參 數(shù) 估 計 法 ， 參 數(shù) 估 計 的 重 要 理 論 基 礎(chǔ) 之 一 就是 大 數(shù) 定 理 。 5.3 , 0, 1AAnA p n nnA lim P pn 定 理 貝 努 里 大 數(shù) 定 理 設(shè) 事 件 在 每 次 試 驗 中 發(fā) 生 的 概 率 為 ， 記 為 次 獨 立 重 復(fù) 試 驗 中 發(fā) 生 的 次 數(shù) 則 有 ： , ,An b n p證 明 ： 利 用 契 比 雪 夫 不 等 式 ， 因 故 ： 1 1 ,A AnE E n np pn n n 20, 1An pqP pn n 于 是 ， 有 2 21 1A An pqD D n npqn nn n 1 An nlim P pn 即 得 ： 9 2 中 心 極 限 定 理背 景 ： 有 許 多 隨 機 變 量 ， 它 們 是 由 大 量 的 相 互 獨 立 的 隨 機 變 量 的 綜 合 影 響 所 形 成 的 ， 而 其 中 每 個 個 別 的 因 素 作 用 都 很 小 ， 這 種 隨 機 變 量 往 往 服 從 或 近 似 服 從 正 態(tài) 分 布 ， 或 者 說 它 的 極 限 分 布 是 正 態(tài) 分 布 ， 中 心 極 限 定 理 正 是 從 數(shù) 學(xué) 上 論 證 了 這 一 現(xiàn) 象 ， 它 在 長 達 兩 個 世 紀(jì) 的 時 期 內(nèi) 曾 是 概 率 論 研 究 的 中 心 課 題 。 10 5.4 定 理 獨 立 同 分 布 的 中 心 極 限 定 理 21 1 0,1 .( , ),( ) ( ) ( ).nn ii n Y NN n nb n a nP a X b n n n ii此 定 理 表 明 ， 當(dāng) 充 分 大 時 ， 近 似 服 從即 ： X（ 近 似 ） 從 而 ， 1X n ii=1思 考 題 ： X的 近 似n分 布 是 什 么 ？ 2( , )N n答 案 ： 21 2 2 11 2, , , , , 1,2, 1, 2ni i n iinn i txinn nX XE X D X i X nn Y nX nx R lim P Y x lim P x e dtn 設(shè) 隨 機 變 量 X 相 互 獨 立 同 分 布 ，則 前 個 變 量 的 和 的 標(biāo) 準(zhǔn) 化 變 量 為 ：有 ： 證 明 略 。 11 5.5 定 理 德 莫 佛 -拉 普 拉 斯 定 理 2215.4, (1 ) 2 tbAn an nplim P a b e dtnp p 由 定 理 1 0 i i Ai A 第 次 試 驗 時 發(fā) 生證 明 ： 令 X 第 次 試 驗 時 未 發(fā) 生 220 1 ,1, lim ,(1 ) 2A tbAn an n A P A p pn npa b P a b e dtnp p 設(shè) 為 次 貝 努 里 試 驗 中 發(fā) 生 的 次 數(shù) ，則 對 任 何 區(qū) 間 ， 有 ：1 2, , , , (1, ).nX X b p i則 X 相 互 獨 立 同 分 布 ,X1 2 ,A nn X X X 由 于 ( ) ( , (1 ).N np np p A即 :n 近 似 ( )(1 )( )(1 )AP a n bb npnp pa npnp p 12 例 2： 設(shè) 某 種 電 器 元 件 的 壽 命 服 從 均 值 為 100小 時 的 指 數(shù) 分 布 ， 現(xiàn) 隨 機 取 得 16只 ， 設(shè) 它 們 的 壽 命 是 相 互 獨 立 的 ,求 這 16只 元 件 的 壽 命 的 總 和 大 于 1920小 時 的 概 率 。 1 2 1616 , , , ,X X解 ： 記 只 電 器 元 件 的 壽 命 分 別 為 X 16116 ii X則 只 電 器 元 件 的 壽 命 總 和 為 X , 2100, 100 i iE X D X 由 題 設(shè) 161 16 100 1600 0,14 100 400ii X X N 根 據(jù) 獨 立 同 分 布 的 中 心 極 限 定 理 : Y 近 似 服 從 1920 1 1920P X P X 1920 16001 400 1 0.8 0.2119 13 例 3： 某 保 險 公 司 的 老 年 人 壽 保 險 有 1萬 人 參 加 ， 每 人 每 年 交 200元 ,若 老 人 在 該 年 內(nèi) 死 亡 ， 公 司 付 給 受 益 人 1萬 元 。 設(shè) 老 年 人 死 亡率 為 0.017， 試 求 保 險 公 司 在 一 年 內(nèi) 這 項 保 險 虧 本 的 概 率 。 200P X , , 10000, 0.017b n p n p 解 ： 設(shè) X為 一 年 中 投 保 老 人 的 死 亡 數(shù) ， 則 X由 德 莫 佛 -拉 普 拉 斯 中 心 極 限 定 理 ， 保 險 公 司 虧 本 的 概 率 為 ： 10000 10000 200P X 2001 1 npnp p 1 2.321 0.01 10思 考 題 ：求 保 險 公 司 至 少盈 利 萬 元 的 概 率 。答 案 ： 0.937 14 例 4： 設(shè) 某 工 廠 有 400臺 同 類 機 器 ， 各 臺 機 器 發(fā) 生 故 障 的 概 率 都 是 0.02， 各 臺 機 器 工 作 是 相 互 獨 立 的 ， 試 求 機 器 出 故 障 的 臺 數(shù) 不 小 于 2的 概 率 。 400 0.02 0.98 2.8 12 1 ( 1) 17 0.99382.8npq npP X P X npq , 400,0.02 b解 ： 設(shè) 機 器 出 故 障 的 臺 數(shù) 為 X 則 X ， 分 別 用 三 種 方 法 計 算 ：1. 用 二 項 分 布 計 算 400 3992 1 0 1 1 0.98 400 0.02 0.98 0.9972P X P X P X 2. 用 泊 松 分 布 近 似 計 算 400 0.02 8 2 1 0 1 1 0.000335 0.002684 0.9969npP X P X P X 查 表 得3. 用 正 態(tài) 分 布 近 似 計 算 15 第 六 章 數(shù) 理 統(tǒng) 計 的 基 本 概 念關(guān) 鍵 詞 ： 總 體 個 體 樣 本 統(tǒng) 計 量 2 分 布t分 布F 分 布 16 引 言 ： 數(shù) 理 統(tǒng) 計 學(xué) 是 一 門 關(guān) 于 數(shù) 據(jù) 收 集 、 整 理 、 分 析 和 推 斷 的 科 學(xué) 。 在 概 率 論 中 已 經(jīng) 知 道 ， 由 于 大量 的 隨 機 試 驗 中 各 種 結(jié) 果 的 出 現(xiàn) 必 然 呈 現(xiàn) 它 的規(guī) 律 性 ， 因 而 從 理 論 上 講 只 要 對 隨 機 現(xiàn) 象 進 行足 夠 多 次 觀 察 ， 各 種 結(jié) 果 的 規(guī) 律 性 一 定 能 清 楚 地 呈 現(xiàn) ，但 是 實 際 上 所 允 許 的 觀 察 永 遠 是 有 限 的 ， 甚 至 是少 量 的 。 例 如 ： 若 規(guī) 定 燈 泡 壽 命 低 于 1000小 時 者 為 次品 ， 如 何 確 定 次 品 率 ？ 由 于 燈 泡 壽 命 試 驗 是 破 壞 性試 驗 ， 不 可 能 把 整 批 燈 泡 逐 一 檢 測 ， 只 能 抽 取 一 部 分燈 泡 作 為 樣 本 進 行 檢 驗 ， 以 樣 本 的 信 息 來 推 斷 總 體的 信 息 ， 這 是 數(shù) 理 統(tǒng) 計 學(xué) 研 究 的 問 題 之 一 。 17 1 總 體 和 樣 本總 體 ： 研 究 對 象 的 全 體 。 如 一 批 燈 泡 。個 體 ： 組 成 總 體 的 每 個 元 素 。 如 某 個 燈 泡 。抽 樣 ： 從 總 體 X中 抽 取 有 限 個 個 體 對 總 體 進 行 觀 察 的 取 值 過 程 。隨 機 樣 本 ： 隨 機 抽 取 的 n個 個 體 的 集 合 (X1,X2, ,Xn), n為 樣 本 容 量簡 單 隨 機 樣 本 ： 滿 足 以 下 兩 個 條 件 的 隨 機 樣 本 (X1,X2, ,Xn)稱 為 簡 單 隨 機 樣 本 。1. 每 個 Xi與 X同 分 布2. X 1,X2, ,Xn是 相 互 獨 立 的 隨 機 變 量說 明 ： 后 面 提 到 的 樣 本 均 指 簡 單 隨 機 樣 本 ， 由 概 率 論 知 ， 若 總 體 X 具 有 概 率 密 度 f(x)， 則 樣 本 （ X1,X2, ,Xn） 具 有 聯(lián) 合 密 度 函 數(shù) ： 1 2 1, , nn n iif x x x f x 18 統(tǒng) 計 量 ： 樣 本 的 不 含 任 何 未 知 參 數(shù) 的 函 數(shù) 。常 用 統(tǒng) 計 量 ： 設(shè) （ X1,X2, ,Xn） 為 取 自 總 體 X的 樣 本 2 21 2 31 2 3 2 1 2 33 2 3 12 1 , , , , 1 X 2 X 2 3 max , , 1 4 5 iiN X X XX X X X XX X X 思 考 題 ： (一 )設(shè) 在 總 體 中 抽 取 樣 本 其 中 已 知 ， 未 知 指 出 在 中 哪 些 是 統(tǒng) 計 量 ， 哪 些 不 是 統(tǒng) 計 量 ， 為 什 么 ？ 111. X n ii Xn 樣 本 均 值 1 113. 1,2,1 ( ) 1,2,n kk ii n kk iik A X knk B X X kn 樣 本 矩 階 矩 ：階 中 心 矩 ：2 2112. ( ) ,1 n iiS X X Sn 樣 本 方 差 為 樣 本 標(biāo) 準(zhǔn) 差 2 22, ,.,( ) , ( )( ) _,( ) _, ( ) _.nX XXE X D XE XD X E S 1（ 二 ） 設(shè) X 是總 體 的 樣 本 ， 若 ，則答 ： 只 有 (4)不 是 統(tǒng) 計 量 。 2 n 2 19 隨 機 變 量 獨 立 性 的 兩 個 定 理 1 1 2 1 11 1 2 11 1 2 2 1 111 26. , , , , , , , , , , , 1,2, , , , , , ,1 ,ii i kn ni n nkn n n k k n n nY g X X Y g X XX X ny g x x x x R i k kn n n g Xn k Y X 設(shè) X 是 相 互 獨 立 的 個 隨 機 變 量 ， 定 又 設(shè) 是 個 連 續(xù) 函 數(shù) ， 且 有 則 個 隨 機 變 量 ： 是 相 互 理 ： 獨 立 的 。 1 111 1 111 1 1 1, , , ,1,2, , , , , , ,6 ,2 ,. t itn tn t n n ti n itit X X X Xi t nX XX X 設(shè) 個 隨 機 變 量 是 相 互 獨 立 的 ， 又 設(shè) 對 每 一 個 個 隨 機 變 量 X 是 相 互 獨 立 的 ， 定 理 ： 隨 機 變 量 X 是 相 互 則 獨 立 的 。 20 2 常 用 的 分 布 1 2 2 222 21 , , 0,1 1,2, , 11 nnn iii XX X N i nn n 設(shè) 隨 機 變 量 X 相 互 獨 立 ， X 則 稱 服 從 自 由 度 為 的 ， 定 指 式 右 端 包 含分 布 記 為自 的 獨 立 變度義 ： 由 量 的 個 數(shù) 2 212 10 1 02 2 2 0 6 0.3 n ynx y e yn f y n yx e dx 分 布 的 概 率 密 度 為 ： 其理 中定 ： 2 分 布 x( )f x0 10n1n 4n2 分 布 的 概 率 密 度 函 數(shù) 21 2 分 布 的 一 些 重 要 性 質(zhì) ： 2 2 2 21. , , 2n E n D n 設(shè) 則 有 2 2 21 1 2 2 1 2 1 2 1 22. , , ,Y n Y n Y Y Y Y n n 設(shè) 且 相 互 獨 立 ， 則 有22 分 布 的 可 加 性性 質(zhì) 稱 為 ， 可 推 廣 到 有 限 個 的 情 形 ： 2 21 2 1 1, , , , m mi i m i ii iY n Y Y Y Y n 設(shè) 且 相 互 獨 立 ， 則 2 22 2 2,0 1, nn f dyn yn n 為分 布 的 上 分對 給 定 的 概 率 稱 滿 足 條 件 的 點上 分 位 數(shù) 的 值 可 查位 數(shù) 分 布 表 2 n0 2 分 布 的 分 位 數(shù) x( )f x 22 2 2 1 22 22 1 2 2 22 3 4 51 , , , , , ,1 ( ) ) (2 ) ( ),nn iiN X X XXX b X X X k 1例 ： 設(shè) 總 體 X 已 知 。 是 取 自 總 體 X的 樣 本 求 (1)統(tǒng) 計 量 的 分 布 ； （ 2） 設(shè) n=5,若 a(X 則 a,b,k各 為 多 少 ？ 1,2, ,ii XY i n 解 ： (1)作 變 換 1 2, , , 0,1 1,2, ,n iY Y Y Y N i n 顯 然 相 互 獨 立 ， 且 2 2 21 1( )n ni ii iX Y n 2于 是 22 21 21 2 2( )(2) (0,2 ), (1)2X XX X N 22 23 4 53 4 5 2(2 )2 (0,6 ), (1)6X X XX X X N 1 2 3 4 5 22 23 4 51 22 2(2 )( ) (2)2 6X X X X XX X XX X 與 2 相 互 獨 立 ，故 221 ,21 ,62.abk 23 20,1 , , ,N Y nXT n t T tY nY n設(shè) X 并 且 X 相 互 獨 立 ， 服 從 自 由 度 為 的 分 布 ， 記 則 稱 隨 變 量 為機定 義 ： , 0 1, , t n f t n dt t nt n t t 對 給 定 的 稱 滿 足 條 件 的 點為 分 布 的 上 。 分 布 的 上 分 位 數(shù) 可位 數(shù) 查分 分 布 表 t分 布 121 22 26.4 , 1 , nn n tt n f t n tnn 定 理 ： 分 布 的 概 率 密 度 為 ： t n f x x0t分 布 的 分 位 數(shù)10n 313 x( )f x 1n4n202 1t分 布 的 密 度 函 數(shù) 1 ( ) ( )t n t n 24 2 21 21 1 2 1 221 2, , ,/ , ,/n Y n YX nF n n F F F n nY nn n 設(shè) X 且 X 獨 立 ， 則 稱 隨 機 變 量 服定 義 ： 從 自 由 度 的 分 布 ， 記 為 其 中 稱 為 第 一 自 由 度 ， 稱 為 第 二 自 由 度F分 布 1 21 2 12 2 21 21 2 1 21 2 2 12 21 2 1 110 , 1 0, ; , 0 6. , 05 1 n n n n nn n bF n n n n x n n x xBf x n n xa bB a b x x dx 分定 理 ： 布 的 概 率 密 度 為 ： 其 中 a b 11 2 2 1 ( , ), ( , )F F n n F F n n性 質(zhì) ： 則 25 1 2 1 2 1 2,1 2 1 2, 0 1, ; , , , F n n f x n n dx F n nF n n F n n F 對 于 給 定 的 稱 滿 足 條 件 的 點為 分 布 的 上 分 位 數(shù) 。 的 值 可 查 分 布 表0 x1 2 f x 2 1, 20n n 2 25n 2 10n F分 布 的 密 度 函 數(shù) 0 x 1 2,F n n( )f x F分 布 的 分 位 數(shù)11 1 2 2 1( , ) ( , )F n n F n n 26z , 0,1 , ,0 1X N Z P X ZZ 此 外 設(shè) 若 滿 足 條 件 則 稱 點 為 標(biāo) 準(zhǔn) 正 態(tài) 分 布 的 上 分 位 數(shù) 。1Z Z 27 正 態(tài) 總 體 樣 本 均 值 和 方 差 的 分 布 2 2 21 2 2 222 , , , , , 1. X ,-1 2. 1 6 3. X.6 nnX X X N SNn S nS 設(shè) 是 總 體 的 樣 本 ， X 分 別 是 樣定 理 ： 本 均 值 和 樣 本 方 差 ， 則 有 ：和 相 互 獨 立 221/ / 1 1/ t n Xn SX n t nSn 且 兩 者 獨 立 ， 由 分 布 定 義 得 ： 2 21, , 1 ,6.7 nX X N Sn X t nS 設(shè) 是 總 體 的 樣 本 ， X和 分 別 是 樣 本 均 值 和 樣 本 方 差 ， 則 有 ：定 理 ： 2 2216.6 0,1 , 1/ n SX N nn 證 明 ： 由 定 理 知 ， 28 1 2 2 21 1 1 1 2 22 21 22 22 1 1 22 21 2 1 22 21 21 2 2 2 21 2 , , , , , , , 1 1, 12 (0,1), 3 6.8 n nX X Y Y N NS SSF F n nSX Y Nn n X Y 設(shè) 樣 本 和 分 別 來 自 總 體 和 并 且 它 們 相 互 獨 立 ， 其 樣 本 方 差 分 別 為理 ： 時 ，定 則： 當(dāng) 1 2 1 21 22 21 1 2 22 21 2 21 11 1 ,2WW W Wt n nS n nn S n SS S Sn n 其 中 29 21 1 12 2 21 2 1 1 22 2 22 2 1 22221 1 1, 11 1Fn S n S F n nn S Sn 且 兩 者 獨 立 ， 由 分 布 的 定 義 ， 有 ： 2 21 1 2 22 21 22 21 21 16.6 1 , 1n S n Sn n 證 明 ： 1 由 定 理 知 ， 2 21 21 21 2 2 21 21 2 1 2 1 22 21 21 2(2) 6.6, ( , ), ( , ), ( , )( ) ( ) (0,1)X N Y Nn nX Y X Y N n nX Y Nn n 由 定 理且 與 相 互 獨 立 ， 所 以 ，即 1 21 2 0,11 1X YU Nn n 213 2 22當(dāng) = = 時 ， 由 （ 2） 得2, 且 它 們 相 互 獨 立 故 有 分 布 的 可 加 性 知 ： 2 21 1 2 22 21 22 21 1 1 , 1n S n Sn n 又 由 給 定 條 件 知 ：6.1 ,U V由 定 理 知 ： 與 相 互 獨 立 2 21 1 2 2 2 1 221 1 2n S n SV n n 1 2 1 21 2 1 2 21 12 wt X YU t n nV n n S n n 于 是 按 分 布 知 ： 31 復(fù) 習(xí) 思 考 題 61.什 么 叫 總 體 ？ 什 么 叫 簡 單 隨 機 樣 本 ？ 總 體 X的 樣 本 X1,X2,Xn有 哪 兩 個 主 要 性 質(zhì) ？2.什 么 是 統(tǒng) 計 量 ？ 什 么 是 統(tǒng) 計 量 的 值 ？3.樣 本 均 值 和 樣 本 方 差 如 何 計 算 ？4.N(0,1)分 布 ,t分 布 , 2分 布 和 F分 布 的 雙 側(cè) 、 下 側(cè) 、 上 側(cè) 分 位 點 是 如 何 定 義 的 ？ 怎 樣 利 用 附 表 查 這 些 分 位 點 的 值 ？5.對 一 個 正 態(tài) 總 體 的 三 個 常 用 統(tǒng) 計 量 及 其 分 布 是 什 么 ？6.對 兩 個 正 態(tài) 總 體 的 三 個 常 用 統(tǒng) 計 量 及 其 分 布 是 什 么 ？ 32 第 七 章 參 數(shù) 估 計關(guān) 鍵 詞 ： 矩 估 計 法 極 大 似 然 估 計 法 置 信 區(qū) 間 置 信 度 33 222 22 2 ,1 ; , 2, ,x XXf x e x 參 數(shù) 估 計 是 統(tǒng) 計 推 斷 的 基 本 問 題 之 一 ， 實 際 工 作 中 碰 到 的 總 體它 的 分 布 類 型 往 往 是 知 道 的 ， 只 是 不 知 道 其 中 的 某 些 參 數(shù) ，例 如 ： 產(chǎn) 品 的 質(zhì) 量 指 標(biāo) 服 從 正 態(tài) 分 布 ， 其 概 率 密 度 為 ：但 參 數(shù) 的 值 未 知 ， 要 求 估 計 ， 有 時 還 希 望 以 一 定 的 可 靠 性 來估 計 值 是 在 某 個 范 圍 內(nèi) 或 者 不 低 于 某 個 數(shù) 。參 數(shù) 估 計 問 題 就 是 要 求問 題 的 提 出 ： 通 過 樣 本 估 計 總 體 分 布 所 包 含 的 未 知 參 數(shù) 的 值 。參 數(shù) 估 計 的 兩 種 方 法 ： 點 估 計 法 和 區(qū) 間 估 計 法 34 1 參 數(shù) 的 點 估 計 1 21 2 , , ,1,2, , , , , niii n iX X Xi kX X Xi 點 估 計 的 問 題 就 是 根 據(jù) 樣 本 ，對 每 一 個 未 知 參 數(shù) ， 構(gòu) 造 出 一個 統(tǒng) 計 量 ， 作 為 參 數(shù) 的 估 計 ，稱 為 。的 估 計 量 點 估 計 有 兩 種 方 法 ： 矩 估 計 法 和 極 大 似 然 估 計 法 35 1 2 1 21 2 1 21 ; , , , , , , , , , 1,2, , , , , , ,1 1,2, , , , ,1 1 2 1, , ,2 1 2k kkv v k nn vv iiX F xX k E XE X v k X X X Xv A X v k k Akn A 設(shè) 總 體 的 分 布 函 數(shù) 為 是 待估 計 的 未 知 參 數(shù) ， 假 定 總 體 的 階 原 點 矩 存 在 ，則 有 ： 對 于 樣用 樣 本 矩 作 為 總 體 矩 的 估 計 ， 即 本其 階 樣 本 ：矩 是 ： 令 1 21 2 2 , , , , , , , ,1 2k k Ak k k 解 此 方 程 即 得 的 一 個 矩 估 計 量 一 矩 估 計 法 ： 36 1 21 0 , , , , ,nXX X X X 2 2 22例 ： 設(shè) 總 體 的 均 值 和 方 差 都 存 在 ， 且 ， 均 未 知 ，是 取 自 的 一 個 樣 本 ， 試 求 的 矩 估 計 。 1 1 22 2 1 1 ( )n iiXAA X Xn 2令 解 ： 先 求 總 體 矩 ： 2 2 21 2, E X E X D X E X 221 21 11 1, n ni ii iA X X A Xn n 再 求 樣 本 矩 ： 37 11 22 0 1 0 0 , , nX x xf xX X X X 例 ： 設(shè) 總 體 的 密 度 為 ： 為 未 知 參 數(shù) ，其 他， 為 取 自 的 樣 本 ， 求 的 矩 估 計 。 E X xf x dx解 ： 1 10 x dx1 X E X X令 2 1 XX 38 極 大 似 然 估 計 法 極 大 似 然 估 計 的 原 理 介 紹考 察 以 下 例 子 ： 假 設(shè) 在 一 個 罐 中 放 著 許 多 白 球 和 黑 球 ， 并 假 定 已 經(jīng) 知 道 兩 種球 的 數(shù) 目 之 比 是 1:3， 但 不 知 道 哪 種 顏 色 的 球 多 。 如 果 用 返 回 抽樣 方 法 從 罐 中 任 取 n個 球 ， 則 其 中 黑 球 的 個 數(shù) 為 x的 概 率 為 ：若 取 n=3， 如 何 通 過 x來 估 計 p值先 計 算 抽 樣 的 可 能 結(jié) 果 x在 這 兩 種 p值 之 下 的 概 率 ： 31; , 1 , 4 4 x n xnP x p p q q p px 其 中 由 假 設(shè) 知 ， 或 0 1 2 3 34,P xx 1 64 9 64 27 64 27 641 6427 64 27 64 9 64 14,P x 二 39 1434 27 31 1 10, 0, 0, ,4 64 4 64 4 1 9 3 27 31 2, 2 0, 2,4 64 4 64 41 2 33 ,x P P pxx P Pxp xx x p 從 上 表 看 到 ： 取 更 合 理 ；類 似 ； ,取 更 合 理 ； 類 似 ； ： 于 是 有 40 , ; ; , x p x P x p x P x p P p x極 大 似 然 原 對 每 個 取 ,使 是 不 同 于理 ： 的 另 一 值 ； 1 1 2221 1 , , , , , , , , , , , , ,nn in inlnL x x x ln f x lnLL x x x LL x x x 說 明 在 求 的 最 大 值 時 ， 通 常 轉(zhuǎn) 稱 為 對 數(shù) 似 然 函換 為 求 ： 數(shù)通 常 的 最 大 ，記 為 ，值 1 21 21 2 , ( ( , ), , , , , , , , , knnX f x p x x x xX X X 設(shè) 總 體 的 概 率 密 度 為 或 分 布 率 為未 知 參 數(shù) ， 為 參 數(shù) 空 間 ， 即 的 取 值 范 圍極 大 似 然 。 設(shè) 是樣 本 的 一 個估 計 法 ： 觀 察 值 ： 1 2 1 11 21. 2. , , , , , ( ( , ) ), , , , n nn i ii inL x x x f x p xL x x x 作 似 然 函 數(shù) 或 稱 為求 使 的 極達 到 最 大 大 似的 值 ， 然 估 計 量 41 3 2 例 ： 求 矩 估 計 部 分 的 例 中 的 極 大 似 然 估 計 量 。 2 21 n ii nlnX 的 極 大 似 然 估 計 量 為 ： 2 1 111 1 ,n n iin ni ii iL f xx x 解 ： 似 然 函 數(shù) 11 ln2 n iinlnL ln x 11 1 ln 0 2 2 n iidlnL n xd 令 1 lnn iin x 即 ： 1 0 1 0 X x xf x 的 密 度 為 ： 其 他 42 1 1 4 , 0 0, , , , , xne xX f xX X X 例 ： 設(shè) 總 體 的 概 率 密 度 為 ： 其 它其 中 是 未 知 常 量 為 的 樣 本 ，求 的 矩 估 計 與 極 大 似 然 估 計 。 1 矩 估 計解 ： E X xf x dx 2 2 1 xE X x e dx 21 1 ( )n iiE X XD X X Xn 令 D X 21 2 11 ( ) 1 ( )n ii n iiX XnX X Xn 1 xx e dx 2 2 xx e dx 2 22 2 2 2 2E X E X 43 2 極 大 似 然 估 計 1 1, in xiL e 此 處 不 能 通 過 求 偏 導(dǎo) 數(shù) 獲 得 的 極 大 似 然 估 計 量 ， 111, n ii nxnL e L 另 一 方 面 ， 是 的 增 函 數(shù) ， 取 到 最 大 值 時 ， 達 到 最 大 。 1 2, , , ,i nx x min x x x 故 的 取 值 范 圍 最 大 不 超 過 111 n ii x in e x 12 11 0n iidlnL n X Xd 令 1 21 , , , ,nX min X X X 故 1 X X 11 n iilnL nln X 又 44 1 25 0, 0 , , , nX x x x 例 ： 設(shè) 總 體 服 從 上 的 均 勻 分 布 ， 未 知 ， 試 由 樣 本 求 出 的 極 大 似 然 估 計 和 矩 估 計 。 1 極解 ： 大 似 然 估 計 1 0; 0 xX f x 因 的 概 率 密 度 為 ： 其 它 1 21 0 , , ,0 nn x x xL 故 參 數(shù) 的 似 然 函 數(shù) 為 ： 其 它 0, Ldln nd 由 于 不 能 用 微 分 法 求 :L從 義 發(fā)以 下 定 出 求 1 20 , , , ,i nnx x max x x x 因 為 故 的 取 值 范 圍 最 小 為 1 Ln nnL x L x L 又 對 的 是 減 函 數(shù) ， 越 小 ， 越 大 ， 故 時 ， 最 大 ； 0 1 2E X xdx X 由 2 矩 估 計 1 2 , , ,L nnX max x x x 所 以 的 極 大 似 然 估 計 量 為 2X 45 , 0 ,2 X 1 2 3例 6： 設(shè) 總 體 的 概 率 分 布 率 為 ： 其 中 未 知2 1-3現(xiàn) 得 到 樣 本 觀 測 值 2， 3， 2， 1， 3， 求 的 矩 估 計 與 極 大 似 然 估 計 。 1 矩 估 計解 ： k kE X x p E(X)=X令 3 5 2 2 2 3 (1 3 2) 2.2X 0.32 2 極 大 似 然 估 計( ) ( 2)(1 3 2)( 2) (1 3 2)L 3 2116 (2 3 ) ln ( ) ln16 3ln 2ln(2 3 )L ln ( ) 3 6 02 3d Ld 0.4 46 表 1 例 2， 例 4， 例 5中 兩 種 估 計 方 法 所 得 結(jié) 果 例 題 矩 估 計 量 極 大 似 然 估 計 量 例 2 例 4 例 5 2 1 211 ( )1 ( )n ii n iiX XnX X Xn 2X nX 11 X XX 2 21L n ii nlnX 2 1 XX 47 2 估 計 量 的 評 選 標(biāo) 準(zhǔn) 從 表 1看 到 ， 對 總 體 的 未 知 參 數(shù) 可 用 不 同 方 法 求 得 不 同 的 估 計量 ， 如 何 評 價 好 壞 ？ 通 常 用 三 條 標(biāo) 準(zhǔn) 檢 驗 ： 無 偏 性 ， 有 效 性 ， 相 合 性 無 偏 性 , ,nEli Em E 若 那 么若 則 稱 為 估 計 量 的 偏 差漸 近稱 是 的 無 偏 估 計 量 1 2 , , , , ,n EX X X 滿 足 則 稱定 義 是 的 一若 參 數(shù) 的 估 計 個 無 偏量： 估 計 量 。 48 22 26 , ,X E X D XX S 例 ： 設(shè) 總 體 的 一 階 和 二 階 矩 存 在 ， 分 布 是 任 意 的 ， 記 證 明 ： 樣 本 均 值 和 樣 本 方 差 分 別 是 和 的 無 偏 估 計 。 1 2, , , nX X X X證 ： 因 與 同 分 布 ， 故 有 ：X 故 是 的 無 偏 估 計 11 n iiE X E Xn 2 211 ( )1 n iiS X Xn 2 211 ( )1 n iiE S E X Xn 2211 ( )1 n iiE X n Xn 2 2 211 nn 2 2S 故 是 的 無 偏 估 計 11 n ii E Xn 1 nn 211 ( )1 n iiE X Xn 111 n ii D X nD Xn 49 7 5 2 L nX X 例 ： 檢 驗 例 的 矩 估 計 量 與 極 大 似 然 估 計 量 的 無 偏 性 。 0, , ,2X U E X 解 ： 1, , nX X X由 于 與 同 分 布 2E E X 12 n ii E Xn 2 2nn 2X 因 此 是 的 無 偏 估 計 L n nX X 為 考 察 的 無 偏 性 ， 先 求 的 分 布 ，5由 第 三 章 第 節(jié) 知 ： ,n nXF x F x 1 0 0 n nnX nx xf x 于 是 其 它10 nnx nx dx L nE E X 因 此 有 ： 1nn L nX 所 以 是 有 偏 的 。 50 糾 偏 方 法 1 , , , 01 17 , , , n nnnE a b a b aba nX X XnX X 如 果 其 中 是 常 數(shù) ， 且則 是 的 無 偏 估 計 。在 例 中 ， 取 則 是 的 無 偏 估 計 無 偏 性 是 對 估 計 量 的 一 個 最 常 見 的 重 要 要 求 ，是 “ 好 ” 估 計 的 標(biāo) 準(zhǔn) 之 一 。 無 偏 性 的 統(tǒng) 計 意 義 是 指 在 大 量 重 復(fù) 試 驗 下 ，由 所 作 的 估 計 值 的 平 均 恰 是 ，從 而 無 偏 性 保 證 了 沒 有 系 統(tǒng) 誤 差 。 51 有 效 性 1 2 1 21 2, ,D D 設(shè) 是 的 兩 個 無 偏 估 計 ， 如 果 對 一 切 成 立 則 稱： 比定 義 有 效 。 52 11 2 1 28 0, , , ,12 , 7 2nX U X X XnX X n nn 例 ： 設(shè) 總 體 是 取 自 的 樣 本 ， 已 知 的 兩 個 無 偏 估 計 為 見 例 ， 判 別 與 哪 個 有 效 時 ？ 2 21 42 12 3D D X n n 解 ： 1 0 0 n nnX nx xf x 由 其 它 2 222 21 n nnD E X E Xn 于 是 2 21 2 2 1 3 2D Dn n n 因 為 比 更 有 效 12 20 2nn nnx nE X dx n 2 2n n 53 相 合 性 1, ,0, 0n nnn nX X nlim P 設(shè) 為 參 數(shù) 的 估 計 量 ， 若 對 于 任 意 ， 當(dāng) 時 ， 依 概 率 收 斂 于 ， 定 義 ： 則 稱 為 即 的 相有 ： 成 立 ， 合 估 計 量 或 一 致 估 計 量 54 1 2 ,E E 證 ： 11 29 0, , , ,1 2 nnX U X X XnX Xn 例 ： 設(shè) 總 體 是 取 自 的 樣 本 ， 證 明 ： 和 是 的 相 合 估 計 。0, n 由 契 比 雪 夫 不 等 式 ， 當(dāng) 時 ， 11 2DP 有 ： 2 2 03n 1 2 所 以 和 都 是 的 相 合 估 計 。 21 ,3D n 22 2D n n 2 2 2DP 同 理 ： 2 22 0n n 55 3 區(qū) 間 估計 1 1 1 2 21 11 2 , , , , , , , n n nX X XX X X X 點 估 計 是 由 樣 本 求 出 未 知 參 數(shù) 的 一 個 估 計 值 ， 而 區(qū) 間 估 計 則 要 由 樣 本 給 出 參 數(shù) 的 一 個 估 計 范 圍 ， 并 指 出 該 區(qū) 間 包 含 的 可 靠 程 度 。 假 設(shè) 是 總 體 的 一 個 樣 本 ， 區(qū) 間 估 計 的 方 法 是 給 出 兩 個 統(tǒng) 計 量 使 區(qū) 間 以 一 定 的 可 靠 程 度引 ： 蓋 住言 。 56 置 信 區(qū) 間 置 信 度 1 1 2 21 1 1 1 211 2 1; 0 1 , , 1 1 , , , , , , , , 1 7 1n nn nX F x X X X XP X X X X 定 義 ： 設(shè) 總 體 的 分 布 函 數(shù) 含 有 一 個 未 知 參 數(shù) ， 對 給 定 的 值如 果 有 兩 個 統(tǒng) 計 量 ， 使 得 ： 隨 機 區(qū) 間 是 的 雙 側(cè) 置 信 區(qū) 間 則 ；稱 稱 為 置 信 度 ；和 2分 別 稱 為 雙 側(cè) 置 信 下 限 和 雙 側(cè) 置 信 上 限 。 57 單 側(cè) 置 信 區(qū) 間 1 1 11 1 7 1, 7, 1 , 2, 1, n nXXP XX 為 的 單 側(cè) 置 信 下 限在 以 上 定 義 中 ， 若 將 式 改 為 ：則 稱隨 機 區(qū) 間 是 的 置 信 度 為 單 側(cè) 置 的 。 信 區(qū) 間 。 2 22 1 17 2, , 1 , , , , 7 31nnX XP X X 又 若 將 式 改 為 ：則 稱隨 機 區(qū) 間 是 的 置 信 度 為 為 的 的單 側(cè) 置 信 上 限 單。 側(cè) 置 信 區(qū) 間 。 58 正 態(tài) 總 體 均 值 方 差 的 區(qū) 間 估 計 2 ,N 一 單 個 正 態(tài) 總 體 的 情 形 2 21 2, , , , , , 1nX X X N X S 來 自 和 分 別 為 樣 本 均 值 和 方 差 置 信 度 為1. 均 值 的 置 信 區(qū) 間 21 已 知 時 , 0,1XX Nn 是 的 無 偏 估 計 由 2 1XP Zn 有 2 2 1P X Z X Zn n 即 2 2,X Z X Zn n 置 信 區(qū) 間 為 ： 1- ? 思 考 題 ：均 值 的 置 信 度 的置 信 下 限 是 什 么 呢: X- n z答 案 59 22 未 知 時 1X t nS n 由 2 21 1 1XP t n t nS n 有 2 21 1 1S SP X t n X t nn n 即 2 21 , 1S SX t n X t nn n 置 信 區(qū) 間 為 ： 0t1 2 20t 60 22. 方 差 的 置 信 區(qū) 間設(shè) 未 知 2 221 1n S n 由 22 21 2 2211 1 1n SP n n 有 2 222 22 1 21 1 11 1n S n SP n n 即 2 22 22 1 21 1,1 1n S n Sn n 置 信 區(qū) 間 為 ： 222 1 21 2 2 1-? 2思 考 題 :方 差 的 置 信 度 的置 信 上 限 是 什 么221 :(n-1)S .( 1)n 答 案 61 22 2 210 , ,36 , 15 . ,95 1 16; 2 , 16;X cm NcmS 例 ： 設(shè) 某 種 植 物 的 高 度 服 從 正 態(tài) 分 布 隨 機 選 取 棵 其 平 均 高 度 為 就 以 下 兩 種 情 形 求 的 雙 側(cè) 置 信 區(qū) 間 ： 未 知 36, 15, 4n X 解 ： 1 1.96 1.96 0.95P X Xn n 由 1.96 41.96 15 13.69336X n 得 ： 1.96 41.96 15 16.30736X n 13.693,16.307的 置 信 區(qū) 間 為 62 2 36, 15, 16n X S 2 0.025 0.025 1 0.05S SP X t X tn n 由 0.025 35 2.0301t 查 表 得 ：2.0301 4 2.0301 4 15 13.647,15 16.3536 6 又 ： 13.647,16.353的 置 信 區(qū) 間 為 99 1 2 求 置 信 度 為 時 兩 種 情 況 下 的 置 信 區(qū) 間？ 1 13.333,16.667 2 13.184,16.815?答 案 ： 63 1 2 比 較 兩 種 情 形 下 的 置 信 區(qū) 間 ： 2 2, 16, 13.693,16.307 已 知 置 信 區(qū) 間 ： 2 2, 16, 13.647,16.353S 未 知 置 信 區(qū) 間 ： , ,t X S n 2但 第 二 種 情 形 更 實 用 ,因 為 多 數(shù) 時 候 , 未 知用 分 布 求 的 置 信 區(qū) 間 只 依 賴 于 樣 本 數(shù) 據(jù) 及 統(tǒng) 計 量 區(qū) 間 短精 度 高區(qū) 間 長精 度 低 64 置 信 區(qū) 間 的 含 義 ： , , , 若 反 復(fù) 抽 樣 多 次 每 個 樣 本 值 確 定 一 個 區(qū) 間每 個 這 樣 的 區(qū) 間 或 者 包 含 的 真 值 或 者 不 包 含 的 真 值 。 見 下 圖10 , 0.05, 95%0.01, 99% 在 例 中 當(dāng) 即 置 信 水 平 為 時 ,20個 區(qū) 間 中 只 有 大 約 1個 不 包 含 值 ； 當(dāng) 即 置 信 水 平 為 時 ,100個 區(qū) 間 中 將 有 99個 包 含 值 ； ba 0 .9 9 0 .0 0 50 .0 0 5 65 2 211 , 25 ,4.25. 95 99S 例 ： 一 個 園 藝 科 學(xué) 家 正 在 培 養(yǎng) 一 個 新 品 種 的 蘋 果 這 種 蘋 果 除 了 口 感好 和 顏 色 鮮 艷 以 外 另 一 個 重 要 特 征 是 單 個 重 量 差 異 不 大 。 為 了評 估 新 蘋 果 她 隨 機 挑 選 了 個 測 試 重 量 單 位 ： 克 其 樣 本 方差 為 試 求 的 置 信 度 為 和 的 的 置 信 區(qū) 間 。 95%解 ： 置 信 度 為 時 2 222 21 0.025 0.0251 1 1 0.05n S n SP 2 20.975 0.02524 39.4, 24 12.4; 查 表 得 ： 25 1 4.25 25 1 4.25 2.59, 8.2339.4 12.4 又 ： 2.59,8.23 2的 置 信 區(qū) 間 為 20.99520.005 99% ,24 45.6,24 9.89,25 1 4.25 2.24,45.625 1 4.25 10.319.89 置 信 度 為 時 2.24,10.312的 置 信 區(qū) 間 為 66 2 21 1 2 2 , , ,N N 二 兩 個 正 態(tài) 總 體 的 情 形 1 21 2 22 21 2 1 1 1 2 2 22 211 21 1, , , , , , , , , ,1 1, , , , 1 .n nn ni ji jX X X N Y Y Y NX X Y Y S Sn n 來 自 來 自和 分 別 為 第 一 二 個 總 體 的 樣 本 方 差 置 信 度 為1 21. 的 置 信 區(qū) 間 2 21 21 , 已 知 時 2 21 21 2 1 2 ,X Y N n n 由 1 22 21 21 2 0,1X Y Nn n 有 2 21 2 2 1 2X Y Z n n 置 信 區(qū) 間 為 ： 67 2 2 2 21 22 , 未 知 1 2 1 21 26.8, 21 1wX Y t n nS n n 此 時 由 第 六 章 定 理 2 21 1 2 22 21 21 1 ,2w w wn S n SS S Sn n 其 中 1 22 1 21 12 wX Y t n n S n n 置 信 區(qū) 間 為 ： 68 21222. 的 置 信 區(qū) 間1 2, 設(shè) 未 知 2 21 2 1 22 21 2 1, 1S S F n n 由 2 2 1 21 2 1 22 21 2 21 21, 1 1, 1 1S SP F n n F n n 有 2 21 1 2 21 2 1 22 2 12 21 1,1, 1 1, 1S SF n n F n nS S 置 信 區(qū) 間 為 ： 2 2 21 1 12 2 21 2 1 22 2 2 12 21 1 11, 1 1, 1S SP F n n F n nS S 即 69 例 12： 兩 臺 機 床 生 產(chǎn) 同 一 個 型 號 的 滾 珠 ， 從 甲 機 床 生 產(chǎn) 的 滾 珠 中 抽 取 8個 ， 從 乙 機 床 生 產(chǎn) 的 滾 珠 中 抽 取 9個 ， 測 得 這 些 滾 珠 得 直 徑 (毫 米 )如 下 : 甲 機 床 15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8 乙 機 床 15.2 15.0 14.8 15.1 14.6 14.8 15.1 14.5 15.0 2 21 1 2 2 1 2 1 21 2 1 2211 2 22 , , , , ,1 0.18, 0.24, 0.902 0.904 , 0.90X Y X N Y N 設(shè) 兩 機 床 生 產(chǎn) 的 滾 珠 直 徑 分 別 為 且求 的 置 信 度 為 的 置 信 區(qū) 間 ；若 未 知 ， 求 的 置 信 度 為 的 置 信 區(qū) 間 ；若 未 知 ， 求 的 置 信 度 為 的 置 信 區(qū) 間 ； 70 2 21 1 2 2 8, 15.05, 0.0457 9, 14.9, 0.0575n x S n y S 解 ： ； 1 2 1 22 0.90 當(dāng) 時 ， 的 置 信 度 為 的未 知 置 信 區(qū) 間 為 ： 11 2 21 , 0.0.18, 0.24 90 當(dāng) 時 求 的 置 信 度 為 的 置 信 區(qū) 間 為 ： 2 21 22 1 2 X Y Z n n 0.05 1.645, 0.018,0.318Z 查 表 得 ： 從 而 所 求 區(qū) 間 為 0.05 1 21 115 1.7531, 0.228, 0.486Wt S n n 2 1 2 1 21 12 WX Y t n n S n n 0.044,0.344從 而 所 求 區(qū) 間 為 1 2 0 當(dāng) 的 置 信 區(qū) 間 包 含 時 ，可 以 認(rèn) 為 兩 個 總 體 的均 值 之 間 沒 有 顯 著 差 異 。 71 說明 置信區(qū)間包含兩方面含義 1. 置信水平 2. 區(qū)間長度置信水平越高，區(qū)間越大，但區(qū)間精確