信息論基礎(chǔ)——離散無(wú)記憶信道 信道容量

《信息論基礎(chǔ)——離散無(wú)記憶信道 信道容量》由會(huì)員分享，可在線閱讀，更多相關(guān)《信息論基礎(chǔ)——離散無(wú)記憶信道 信道容量（23頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、會(huì)計(jì)學(xué)1信息論基礎(chǔ)信息論基礎(chǔ)離散無(wú)記憶信道離散無(wú)記憶信道 信道容信道容量量2數(shù)據(jù)可靠傳輸和信數(shù)據(jù)可靠傳輸和信道編碼道編碼4.1 離散無(wú)記憶信道和信道離散無(wú)記憶信道和信道容量容量 4.2 信道容量的計(jì)算信道容量的計(jì)算 4.3 信道編碼理論信道編碼理論 4.4 帶反饋的信道模型帶反饋的信道模型4.5 聯(lián)合信源聯(lián)合信源-信道編碼定理信道編碼定理4.6 線性分組碼線性分組碼習(xí)題四習(xí)題四第1頁(yè)/共23頁(yè)3數(shù)據(jù)可靠傳輸和信數(shù)據(jù)可靠傳輸和信道編碼道編碼4.1 離散無(wú)記憶信道和信道容量 4.2 信道容量的計(jì)算信道容量的計(jì)算 4.3 信道編碼理論信道編碼理論 4.4 帶反饋的信道模型帶反饋的信道模型4.5 聯(lián)合

2、信源聯(lián)合信源-信道編碼定理信道編碼定理4.6 線性分組碼線性分組碼習(xí)題四習(xí)題四第2頁(yè)/共23頁(yè)4離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量 為確定信道傳輸?shù)南薅?，就要考慮信道傳遞信息的基本單元信號(hào).信號(hào)無(wú)論采用光、聲、電還是其他形式都是一種物理過(guò)程.每個(gè)信號(hào)都需要一定的時(shí)間.在烽火臺(tái)上點(diǎn)燃烽火也許要花好幾分鐘，現(xiàn)代極高頻無(wú)線電通信傳遞信號(hào)所需要的時(shí)間還不到億分之一秒.盡管如此，總要有一定的時(shí)間間隔才能把信號(hào)與信號(hào)分離開來(lái).超過(guò)時(shí)間間隔的一定限度，信號(hào)就會(huì)無(wú)法分辨：典型的例子就是一個(gè)人說(shuō)話過(guò)分快，聽的人根本聽不懂他在說(shuō)什么.因此，要使一個(gè)信道能夠起到傳遞信息的功能，每分鐘傳遞的信號(hào)數(shù)目就要

3、有一定的限度.第3頁(yè)/共23頁(yè)5離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量 這點(diǎn)是比較容易理解的.再比如，我們規(guī)定公共汽車必須一輛接一輛地開來(lái)，每輛汽車必須在車站停一分鐘，以便乘客上下.那么不管增加多少車輛，也不會(huì)越過(guò)每分鐘一輛的速率.既然如此，要想提高運(yùn)輸量，途徑就是增加每輛汽車的裝載量.那么能否提高每個(gè)信號(hào)所攜帶的信息量呢？信息量的定義告訴我們，一個(gè)事件發(fā)小的概率越小，告訴我們這件事是否發(fā)生的信號(hào)帶來(lái)的信息量越大.進(jìn)而增大每個(gè)信號(hào)信息量的辦法是增加不同信號(hào)的數(shù)目.第4頁(yè)/共23頁(yè)6離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量 但是，對(duì)于任何給定的信道來(lái)講，可以分辨的信號(hào)數(shù)目 (這

4、和前面所講的以時(shí)間間隔分辨信號(hào)是不同的概念)是有限的.例如對(duì)于電報(bào)來(lái)講，不同的信號(hào)只有點(diǎn)和劃；對(duì)于電話來(lái)講，可以分辨的音素也是有限的.即使在沒有噪聲干擾的情況下(每輛公共汽車可以載滿乘客，不必?fù)?dān)心中途會(huì)發(fā)少什么意外)，信道在單位時(shí)間內(nèi)只能準(zhǔn)確地傳遞有限的信號(hào)，而每個(gè)信號(hào)所攜帶的信息量又是有限的，因此信道在單位時(shí)間內(nèi)傳遞的信息量也是有限的.該限度就稱為信道容量信道容量信道容量限制了通信系統(tǒng)的能力！信道容量限制了通信系統(tǒng)的能力！第5頁(yè)/共23頁(yè)7離散無(wú)記憶信道離散無(wú)記憶信道提高傳輸?shù)目煽啃?！?頁(yè)/共23頁(yè)8信道的分類：信道的分類：根據(jù)信道用戶的多少根據(jù)信道用戶的多少，可分為：（1）單用戶信道：只

5、有一個(gè)輸入端和一個(gè)輸出端（2）多用戶信道（廣播、電視、衛(wèi)星、計(jì)算機(jī)網(wǎng)）廣播、電視、衛(wèi)星、計(jì)算機(jī)網(wǎng)）至少有一端有兩個(gè)以上的用戶，雙向通信離散無(wú)記憶信道離散無(wú)記憶信道第7頁(yè)/共23頁(yè)9根據(jù)符號(hào)的概率分布根據(jù)符號(hào)的概率分布根據(jù)符號(hào)的概率分布根據(jù)符號(hào)的概率分布，可分為可分為（1 1）有記憶信道）有記憶信道（2 2）無(wú)記憶信道）無(wú)記憶信道 （任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻輸入符號(hào)的（任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻輸入符號(hào)的 信道）信道）離散無(wú)記憶信道離散無(wú)記憶信道第8頁(yè)/共23頁(yè)10根據(jù)輸入輸出信號(hào)的特點(diǎn)，根據(jù)輸入輸出信號(hào)的特點(diǎn)，可分為 （1）離散信道 輸入集和輸出集都是離散集:電報(bào)信道和數(shù)

6、據(jù)信道 （2）連續(xù)信道電視和電話信道 （3）半離散半連續(xù)信道輸入集和輸出集中一個(gè)是連續(xù)集、另一個(gè)是離散集:連續(xù)信道加上數(shù)字調(diào)制器或數(shù)字解調(diào)器 （4）波形信道以下我們只研究單用戶離散無(wú)記憶信道以下我們只研究單用戶離散無(wú)記憶信道。離散無(wú)記憶信道離散無(wú)記憶信道數(shù)字信道以數(shù)字脈沖形式（離散信號(hào)）傳輸數(shù)據(jù) 第9頁(yè)/共23頁(yè)11滿足離散無(wú)記憶信道的充要條件是其中，輸入符號(hào)集其中，輸入符號(hào)集其中，輸入符號(hào)集其中，輸入符號(hào)集 X X=x x1 1,x x2 2,x xN N 輸出符號(hào)集輸出符號(hào)集輸出符號(hào)集輸出符號(hào)集 Y Y=y=y1 1,y y2 2,y,yN N 離散無(wú)記憶信道離散無(wú)記憶信道第10頁(yè)/共23

7、頁(yè)12信道轉(zhuǎn)移概率分布的矩陣形式：離散無(wú)記憶信道離散無(wú)記憶信道信道轉(zhuǎn)移概率信道轉(zhuǎn)移概率第11頁(yè)/共23頁(yè)13信道轉(zhuǎn)移概率分布的圖示：離散無(wú)記憶信道離散無(wú)記憶信道第12頁(yè)/共23頁(yè)14 信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息；因此，研究信道就是研究信道中能夠傳送或息；因此，研究信道就是研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信息無(wú)差錯(cuò)傳輸?shù)淖畲笏俅鎯?chǔ)的最大信息量，即信息無(wú)差錯(cuò)傳輸?shù)淖畲笏俾事?，就是信道容量問題，就是信道容量問題.因此，首先要考慮信道中平均每個(gè)符號(hào)能傳因此，首先要考慮信道中平均每個(gè)符號(hào)能傳輸?shù)男畔⒘枯數(shù)男畔⒘科骄バ畔⑵骄バ畔?區(qū)分：帶寬

8、與信道容量區(qū)分：帶寬與信道容量 信道容量信道容量第13頁(yè)/共23頁(yè)15帶寬帶寬:信道可以不失真地傳輸信號(hào)的頻率范圍。為不同應(yīng)用而設(shè)計(jì)的信道可以不失真地傳輸信號(hào)的頻率范圍。為不同應(yīng)用而設(shè)計(jì)的傳輸媒體所支持的帶寬有所不同；在現(xiàn)代網(wǎng)絡(luò)技術(shù)中，傳輸媒體所支持的帶寬有所不同；在現(xiàn)代網(wǎng)絡(luò)技術(shù)中，“帶寬帶寬”表表示示信道的數(shù)據(jù)傳輸速率信道的數(shù)據(jù)傳輸速率.信道容量信道容量:信道在單位時(shí)間內(nèi)可以傳輸?shù)淖畲笮盘?hào)量，表示信道的傳信道在單位時(shí)間內(nèi)可以傳輸?shù)淖畲笮盘?hào)量，表示信道的傳輸能力。信道容量有時(shí)也表示為單位時(shí)間內(nèi)可傳輸?shù)亩M(jìn)制位的位輸能力。信道容量有時(shí)也表示為單位時(shí)間內(nèi)可傳輸?shù)亩M(jìn)制位的位數(shù)（稱信道的數(shù)據(jù)傳輸速率

9、，位速率），以位數(shù)（稱信道的數(shù)據(jù)傳輸速率，位速率），以位/秒（秒（b/sb/s）形式予以表）形式予以表示，簡(jiǎn)記為示，簡(jiǎn)記為bpsbps。信道容量和信道帶寬具有正比的關(guān)系：帶寬越大，容量越大。信道容量和信道帶寬具有正比的關(guān)系：帶寬越大，容量越大。局域網(wǎng)帶寬（傳輸速率）：局域網(wǎng)帶寬（傳輸速率）：10Mbps10Mbps、100Mbps100Mbps、1000Mbps1000Mbps；廣域網(wǎng)帶寬（傳輸速率）：廣域網(wǎng)帶寬（傳輸速率）：64Kbps64Kbps、2Mbps2Mbps、155Mbps155Mbps等等 信道容量信道容量第14頁(yè)/共23頁(yè)16 由于 I(X,Y)=H(X)-H(X|Y)bit

10、/符號(hào)是輸入隨機(jī)變量X的概率分布p(x)的上凸函數(shù)，因此對(duì)于一個(gè)確定信道，總存在一個(gè)信源（某種概率分布p0(x)），使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即每個(gè)固定信道都有一個(gè)最大的信息傳輸率，定義這個(gè)最大值為信道容量C.離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第15頁(yè)/共23頁(yè)17 離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第16頁(yè)/共23頁(yè)18通常，P(xi i)稱為信道的入口分布P(yi i)稱為信道的出口分布i(x;y)=logP(x,y)/P(x)P(y)為入口與出口信號(hào)的互信息密度函數(shù)p0 0(x)為最大入口分布。其中，輸入符號(hào)集其中，輸入符號(hào)集其中，輸入符號(hào)集其中，

11、輸入符號(hào)集 X X=x x1 1,x x2 2,x xN N 輸出符號(hào)集輸出符號(hào)集輸出符號(hào)集輸出符號(hào)集 Y Y=y=y1 1,y y2 2,y,yN N 離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第17頁(yè)/共23頁(yè)19注：注：1 1）C C與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸與輸入信源的概率分布無(wú)關(guān)，它只是信道傳輸概概概概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān).是完全描述信道是完全描述信道是完全描述信道是完全描述信道

12、特性的參數(shù)，是信道能夠傳輸?shù)淖畲笮畔⒘?；特性的參?shù)，是信道能夠傳輸?shù)淖畲笮畔⒘浚惶匦缘膮?shù)，是信道能夠傳輸?shù)淖畲笮畔⒘?；特性的參?shù)，是信道能夠傳輸?shù)淖畲笮畔⒘浚? 2）從數(shù)學(xué)上來(lái)說(shuō)，計(jì)算）從數(shù)學(xué)上來(lái)說(shuō)，計(jì)算）從數(shù)學(xué)上來(lái)說(shuō)，計(jì)算）從數(shù)學(xué)上來(lái)說(shuō)，計(jì)算C C就是求就是求就是求就是求I I(X X;Y Y)的最大值；的最大值；的最大值；的最大值；但但但但是，對(duì)于一般信道計(jì)算相當(dāng)復(fù)雜是，對(duì)于一般信道計(jì)算相當(dāng)復(fù)雜是，對(duì)于一般信道計(jì)算相當(dāng)復(fù)雜是，對(duì)于一般信道計(jì)算相當(dāng)復(fù)雜.這里我們只討論幾種這里我們只討論幾種這里我們只討論幾種這里我們只討論幾種典型的無(wú)記憶信道的典型的無(wú)記憶信道的典型的無(wú)記憶信道的典型的無(wú)記憶

13、信道的C C的計(jì)算的計(jì)算的計(jì)算的計(jì)算.離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第18頁(yè)/共23頁(yè)20 如果一個(gè)離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為對(duì)稱信道；如：和2.1 2.1 二進(jìn)對(duì)稱信道（二進(jìn)對(duì)稱信道（BSCBSC）離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第19頁(yè)/共23頁(yè)21 X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=0101-pp1p1-p 0 1-p 0 p p 1 1-p 1p稱為交叉概率誤差！離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第20頁(yè)/共23頁(yè)22如果信道的輸入概率分布X=w,1-w，則 由此可得離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第21頁(yè)/共23頁(yè)23平均互信息對(duì)存在一個(gè)極大值，即當(dāng)時(shí)，有極大值，從而BSC的信道容量最大入口分布：離散無(wú)記憶信道和信道容量離散無(wú)記憶信道和信道容量第22頁(yè)/共23頁(yè)