模式識別隨機向量的概率.ppt

《模式識別隨機向量的概率.ppt》由會員分享，可在線閱讀，更多相關(guān)《模式識別隨機向量的概率.ppt（44頁珍藏版）》請在裝配圖網(wǎng)上搜索。

復(fù)習(xí)1隨機向量的概率 這一章復(fù)習(xí)一些概率和隨機變量 向量的概念 這些對于后面的學(xué)習(xí)是很重要的 一 事件的概率 令A(yù) B C 表示事件 這些事件的概率是 0 1 間的實數(shù) 記為Pr A Pr B Pr C 必然事件的概率是1不可能事件的概率是0對任意事件A 對立事件 A和B同時發(fā)生的概率 如果A1 A2 AM是兩兩互斥的完備事件組 則 二 概率分布和密度函數(shù)1 單個隨機向量的分布和密度函數(shù) 令X是一個隨機向量 它的每一分量都是一個隨機變量 令是X的一個取值 其中都是固定的實數(shù)值 則事件 的概率是的函數(shù) 這個函數(shù)稱為隨機向量x的分布函數(shù) 定義為 由上面分布函數(shù)的定義 顯然有 概率密度函數(shù)定義為分布函數(shù)對所有分量的導(dǎo)數(shù) 概率分布函數(shù)和密度函數(shù)之間還滿足如下的積分關(guān)系 由上式和前面的式子 還有 對于事件 有 下面看看在某一點的小鄰域的概率 上式近似成立的條件是 要充分小 以使的變化較小 這意味著 在點的概率密度正比于隨機向量落在附近的小鄰域內(nèi)的概率 密度函數(shù)越大 這個概率越大 但等于的概率為0 連續(xù)時 容許奇異時 也有可能 2 隨機向量的聯(lián)合分布和密度函數(shù) 令X和Y是隨機向量 可以把前面定義的對單個隨機向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去 實際上 單個隨機向量是它的各個分量的聯(lián)合 只要再擴展到Y(jié)就行了 令是一個隨機向量 是的一個實現(xiàn) 則隨機向量和的聯(lián)合分布函數(shù)定義為聯(lián)合事件 的概率 的聯(lián)合密度函數(shù)定義為 和 上式的一個等價關(guān)系是 由定義 下面的等式成立 a b c d 由 b 有下式 c 和 d 意味著 x和y的概率密度可以通過對x和y的聯(lián)合概率密度的積分得到 以上兩式得到的稱為X和Y的邊緣密度函數(shù) 聯(lián)合分布的隨機向量x y的另一個重要關(guān)系是 在附近 同時在附近小區(qū)域內(nèi)的概率近似等于和小區(qū)域體積 的積 例1 一個兩維隨機向量和一個一維隨機變量的聯(lián)合密度函數(shù) 求事件的概率和邊緣密度 解 1 注意 不要忘記積分區(qū)間 2 邊緣密度為 在上面的計算中 要注意積分的上下限 密度函數(shù)也可以用對分布函數(shù)求導(dǎo)而得到 3 隨機向量和事件的聯(lián)合分布和密度函數(shù) 一個隨機向量和一個事件A的聯(lián)合分布函數(shù)定義為 它是的函數(shù) 聯(lián)合密度函數(shù)定義為 根據(jù)定義 下面的關(guān)系成立 事件的聯(lián)合概率為 如果A1 A2 AM是兩兩互斥的完備事件集 則邊緣分布函數(shù) 邊緣密度函數(shù)為 三 條件概率和貝葉斯規(guī)則 1 事件的條件概率令A(yù) B是兩個隨機事件 B發(fā)生后A發(fā)生的條件概率為 如果 則稱A和B是統(tǒng)計獨立的 這時由 1 式有 1 2 條件分布和密度函數(shù) 由 1 式的基本形式 可以推導(dǎo)出下面的幾種條件分布和密度函數(shù) 下面的公式推導(dǎo)和無條件概率分布與密度函數(shù)相似 不再多講 1 以一個事件為條件的分布和密度函數(shù)若A是事件 B是另一個事件 則 上式兩邊微分 可得到密度函數(shù) 2 以隨機向量為條件的一個事件的概率令A(yù)是任一事件 B是事件 則在小區(qū)域內(nèi) A發(fā)生的概率為 3 隨機向量的條件密度函數(shù) 令A(yù)是事件 B是事件則由前面的定義和公式有 在發(fā)生后的條件密度定義為 當(dāng)A和B對所有的和的值是獨立的時 因此有 3 貝葉斯公式 由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率 所以由條件概率公式有 1 上式稱為Bayes公式 是概率和統(tǒng)計中非常重要的一個公式 通過適當(dāng)定義事件A和B 貝葉斯公式可以有不同的形式 例如 1 如果B是事件則貝葉斯公式的形式為 2 如果是兩兩互斥且完備的事件組A1 A2 AM中的一個事件 則 最優(yōu)模式分類 2 3 3 如果B是事件 A是事件 則貝葉斯公式的形式為 4 由邊緣密度的定義 還可寫為下式 5 上面的幾種貝葉斯公式對統(tǒng)計模式識別都是非常重要的 如 5 式 稱為先驗概率 隨機向量X和Y間有某種關(guān)系 在X發(fā)生后Y的密度函數(shù)是對先驗概率的一種改善 稱為后驗概率 又如 3 式是一個最佳模式分類規(guī)則 是事件類的先驗概率 而則是的后驗概率 例 一個兩維隨機向量的密度函數(shù)為 另一隨機向量X 它和Y有關(guān) 其條件密度函數(shù)為 求聯(lián)合密度 并計算后驗密度 解 1 聯(lián)合密度為 后驗概率為 注意 1 積分限要注意 2 上式?jīng)]有顯式解 要用數(shù)值方法求解 3 如果Y的先驗密度是 則有顯式解 是一多元高斯密度 四 數(shù)學(xué)期望 一個隨機向量X的期望 或稱均值 是一個常數(shù)向量M 定義為 上式是一個向量形式 的第個分量為 上式對所有的 的分量積分 有 是邊緣密度 對于隨機向量的積的期望 將在復(fù)習(xí)2中討論 對于隨機向量的各個分量 則和隨機變量的定義一樣 性質(zhì) 1 隨機向量或變量和的期望等于期望的和 2 相互獨立的隨機變量和的方差等于方差的和 下面考慮只取離散值的隨機變量 它沒有概率密度函數(shù) 除非使用奇異函數(shù) 則期望 若是一隨機變量 它取離散值 1 2 M M也可能是無窮的 方差 均值和方差是隨機變量分布的重要參數(shù) 均值 分布或密度的中心點 方差則表示了離中心點的分散程度 分布和密度函數(shù)完全刻畫了隨機向量 而期望和方差刻畫了它的主要特征 五 小結(jié) 這一章復(fù)習(xí)了隨機事件和隨機向量的概率 復(fù)習(xí)了 統(tǒng)計獨立 貝葉斯公式 由條件概率 隨機向量和變量的均值 方差 應(yīng)該理解這些定義 概念 理解一些公式推導(dǎo)的思路 思想 理解分布函數(shù) 密度函數(shù)和事件概率間的關(guān)系 理解聯(lián)合概率和條件概率間的區(qū)別 理解獨立性及其對概率 分布和密度函數(shù)的影響 掌握Bayes公式的各種形式 第二章統(tǒng)計決策理論 最小錯誤率貝葉斯決策最小風(fēng)險貝葉斯決策Neyman Pearson決策 在限定一類錯誤率的條件下 使另一類錯誤率最小的兩類決策問題 最小最大決策序貫決策 SequentialDecision 關(guān)于統(tǒng)計學(xué)的一個笑話 有一個從沒帶過小孩的統(tǒng)計學(xué)家 因為妻子出門勉強答應(yīng)照看三個年幼好動的孩子 妻子回家時 他交出一張紙條 寫道 擦眼淚11次 系鞋帶15次 給每個孩子吹玩具氣球各5次 累計15次 每個氣球的平均壽命10秒鐘 警告孩子不要橫穿馬路26次 孩子堅持要穿馬路26次 我還要再過這樣的星期六0次 統(tǒng)計學(xué)真的是這樣呆板嗎 僅僅收集數(shù)據(jù) 整理分析 累加平均 統(tǒng)計學(xué)以數(shù)據(jù)為研究內(nèi)容 但僅僅收集數(shù)據(jù) 決不構(gòu)成統(tǒng)計學(xué)研究的全部 統(tǒng)計學(xué)是面對不確定情況尋求決策 制定方法的一門科學(xué)人力 財力 時間等的限制 只有部分或少量數(shù)據(jù) 要推斷所有數(shù)據(jù)的特征不同于敘述統(tǒng)計 要推斷統(tǒng)計抽樣 試驗設(shè)計 估計 假設(shè)檢驗 回歸分析 等推斷方法 模式識別發(fā)展了