模式識(shí)別隨機(jī)向量的概率.ppt

復(fù)習(xí)1隨機(jī)向量的概率 這一章復(fù)習(xí)一些概率和隨機(jī)變量 向量的概念 這些對(duì)于后面的學(xué)習(xí)是很重要的 一 事件的概率 令A(yù) B C 表示事件 這些事件的概率是 0 1 間的實(shí)數(shù) 記為Pr A Pr B Pr C 必然事件的概率是1不可能事件的概率是0對(duì)任意事件A 對(duì)立事件 A和B同時(shí)發(fā)生的概率 如果A1 A2 AM是兩兩互斥的完備事件組 則 二 概率分布和密度函數(shù)1 單個(gè)隨機(jī)向量的分布和密度函數(shù) 令X是一個(gè)隨機(jī)向量 它的每一分量都是一個(gè)隨機(jī)變量 令是X的一個(gè)取值 其中都是固定的實(shí)數(shù)值 則事件 的概率是的函數(shù) 這個(gè)函數(shù)稱為隨機(jī)向量x的分布函數(shù) 定義為 由上面分布函數(shù)的定義 顯然有 概率密度函數(shù)定義為分布函數(shù)對(duì)所有分量的導(dǎo)數(shù) 概率分布函數(shù)和密度函數(shù)之間還滿足如下的積分關(guān)系 由上式和前面的式子 還有 對(duì)于事件 有 下面看看在某一點(diǎn)的小鄰域的概率 上式近似成立的條件是 要充分小 以使的變化較小 這意味著 在點(diǎn)的概率密度正比于隨機(jī)向量落在附近的小鄰域內(nèi)的概率 密度函數(shù)越大 這個(gè)概率越大 但等于的概率為0 連續(xù)時(shí) 容許奇異時(shí) 也有可能 2 隨機(jī)向量的聯(lián)合分布和密度函數(shù) 令X和Y是隨機(jī)向量 可以把前面定義的對(duì)單個(gè)隨機(jī)向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去 實(shí)際上 單個(gè)隨機(jī)向量是它的各個(gè)分量的聯(lián)合 只要再擴(kuò)展到Y(jié)就行了 令是一個(gè)隨機(jī)向量 是的一個(gè)實(shí)現(xiàn) 則隨機(jī)向量和的聯(lián)合分布函數(shù)定義為聯(lián)合事件 的概率 的聯(lián)合密度函數(shù)定義為 和 上式的一個(gè)等價(jià)關(guān)系是 由定義 下面的等式成立 a b c d 由 b 有下式 c 和 d 意味著 x和y的概率密度可以通過對(duì)x和y的聯(lián)合概率密度的積分得到 以上兩式得到的稱為X和Y的邊緣密度函數(shù) 聯(lián)合分布的隨機(jī)向量x y的另一個(gè)重要關(guān)系是 在附近 同時(shí)在附近小區(qū)域內(nèi)的概率近似等于和小區(qū)域體積 的積 例1 一個(gè)兩維隨機(jī)向量和一個(gè)一維隨機(jī)變量的聯(lián)合密度函數(shù) 求事件的概率和邊緣密度 解 1 注意 不要忘記積分區(qū)間 2 邊緣密度為 在上面的計(jì)算中 要注意積分的上下限 密度函數(shù)也可以用對(duì)分布函數(shù)求導(dǎo)而得到 3 隨機(jī)向量和事件的聯(lián)合分布和密度函數(shù) 一個(gè)隨機(jī)向量和一個(gè)事件A的聯(lián)合分布函數(shù)定義為 它是的函數(shù) 聯(lián)合密度函數(shù)定義為 根據(jù)定義 下面的關(guān)系成立 事件的聯(lián)合概率為 如果A1 A2 AM是兩兩互斥的完備事件集 則邊緣分布函數(shù) 邊緣密度函數(shù)為 三 條件概率和貝葉斯規(guī)則 1 事件的條件概率令A(yù) B是兩個(gè)隨機(jī)事件 B發(fā)生后A發(fā)生的條件概率為 如果 則稱A和B是統(tǒng)計(jì)獨(dú)立的 這時(shí)由 1 式有 1 2 條件分布和密度函數(shù) 由 1 式的基本形式 可以推導(dǎo)出下面的幾種條件分布和密度函數(shù) 下面的公式推導(dǎo)和無條件概率分布與密度函數(shù)相似 不再多講 1 以一個(gè)事件為條件的分布和密度函數(shù)若A是事件 B是另一個(gè)事件 則 上式兩邊微分 可得到密度函數(shù) 2 以隨機(jī)向量為條件的一個(gè)事件的概率令A(yù)是任一事件 B是事件 則在小區(qū)域內(nèi) A發(fā)生的概率為 3 隨機(jī)向量的條件密度函數(shù) 令A(yù)是事件 B是事件則由前面的定義和公式有 在發(fā)生后的條件密度定義為 當(dāng)A和B對(duì)所有的和的值是獨(dú)立的時(shí) 因此有 3 貝葉斯公式 由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率 所以由條件概率公式有 1 上式稱為Bayes公式 是概率和統(tǒng)計(jì)中非常重要的一個(gè)公式 通過適當(dāng)定義事件A和B 貝葉斯公式可以有不同的形式 例如 1 如果B是事件則貝葉斯公式的形式為 2 如果是兩兩互斥且完備的事件組A1 A2 AM中的一個(gè)事件 則 最優(yōu)模式分類 2 3 3 如果B是事件 A是事件 則貝葉斯公式的形式為 4 由邊緣密度的定義 還可寫為下式 5 上面的幾種貝葉斯公式對(duì)統(tǒng)計(jì)模式識(shí)別都是非常重要的 如 5 式 稱為先驗(yàn)概率 隨機(jī)向量X和Y間有某種關(guān)系 在X發(fā)生后Y的密度函數(shù)是對(duì)先驗(yàn)概率的一種改善 稱為后驗(yàn)概率 又如 3 式是一個(gè)最佳模式分類規(guī)則 是事件類的先驗(yàn)概率 而則是的后驗(yàn)概率 例 一個(gè)兩維隨機(jī)向量的密度函數(shù)為 另一隨機(jī)向量X 它和Y有關(guān) 其條件密度函數(shù)為 求聯(lián)合密度 并計(jì)算后驗(yàn)密度 解 1 聯(lián)合密度為 后驗(yàn)概率為 注意 1 積分限要注意 2 上式?jīng)]有顯式解 要用數(shù)值方法求解 3 如果Y的先驗(yàn)密度是 則有顯式解 是一多元高斯密度 四 數(shù)學(xué)期望 一個(gè)隨機(jī)向量X的期望 或稱均值 是一個(gè)常數(shù)向量M 定義為 上式是一個(gè)向量形式 的第個(gè)分量為 上式對(duì)所有的 的分量積分 有 是邊緣密度 對(duì)于隨機(jī)向量的積的期望 將在復(fù)習(xí)2中討論 對(duì)于隨機(jī)向量的各個(gè)分量 則和隨機(jī)變量的定義一樣 性質(zhì) 1 隨機(jī)向量或變量和的期望等于期望的和 2 相互獨(dú)立的隨機(jī)變量和的方差等于方差的和 下面考慮只取離散值的隨機(jī)變量 它沒有概率密度函數(shù) 除非使用奇異函數(shù) 則期望 若是一隨機(jī)變量 它取離散值 1 2 M M也可能是無窮的 方差 均值和方差是隨機(jī)變量分布的重要參數(shù) 均值 分布或密度的中心點(diǎn) 方差則表示了離中心點(diǎn)的分散程度 分布和密度函數(shù)完全刻畫了隨機(jī)向量 而期望和方差刻畫了它的主要特征 五 小結(jié) 這一章復(fù)習(xí)了隨機(jī)事件和隨機(jī)向量的概率 復(fù)習(xí)了 統(tǒng)計(jì)獨(dú)立 貝葉斯公式 由條件概率 隨機(jī)向量和變量的均值 方差 應(yīng)該理解這些定義 概念 理解一些公式推導(dǎo)的思路 思想 理解分布函數(shù) 密度函數(shù)和事件概率間的關(guān)系 理解聯(lián)合概率和條件概率間的區(qū)別 理解獨(dú)立性及其對(duì)概率 分布和密度函數(shù)的影響 掌握Bayes公式的各種形式 第二章統(tǒng)計(jì)決策理論 最小錯(cuò)誤率貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策Neyman Pearson決策 在限定一類錯(cuò)誤率的條件下 使另一類錯(cuò)誤率最小的兩類決策問題 最小最大決策序貫決策 SequentialDecision 關(guān)于統(tǒng)計(jì)學(xué)的一個(gè)笑話 有一個(gè)從沒帶過小孩的統(tǒng)計(jì)學(xué)家 因?yàn)槠拮映鲩T勉強(qiáng)答應(yīng)照看三個(gè)年幼好動(dòng)的孩子 妻子回家時(shí) 他交出一張紙條 寫道 擦眼淚11次 系鞋帶15次 給每個(gè)孩子吹玩具氣球各5次 累計(jì)15次 每個(gè)氣球的平均壽命10秒鐘 警告孩子不要橫穿馬路26次 孩子堅(jiān)持要穿馬路26次 我還要再過這樣的星期六0次 統(tǒng)計(jì)學(xué)真的是這樣呆板嗎 僅僅收集數(shù)據(jù) 整理分析 累加平均 統(tǒng)計(jì)學(xué)以數(shù)據(jù)為研究?jī)?nèi)容 但僅僅收集數(shù)據(jù) 決不構(gòu)成統(tǒng)計(jì)學(xué)研究的全部 統(tǒng)計(jì)學(xué)是面對(duì)不確定情況尋求決策 制定方法的一門科學(xué)人力 財(cái)力 時(shí)間等的限制 只有部分或少量數(shù)據(jù) 要推斷所有數(shù)據(jù)的特征不同于敘述統(tǒng)計(jì) 要推斷統(tǒng)計(jì)抽樣 試驗(yàn)設(shè)計(jì) 估計(jì) 假設(shè)檢驗(yàn) 回歸分析 等推斷方法 模式識(shí)別發(fā)展了