信息论与编码技术之离散信道及其容量总结 | 您所在的位置:网站首页 › sphere记忆 › 信息论与编码技术之离散信道及其容量总结 |
目录 前言: 一.分类与信道数学模型(概念) 二.离散无记忆信道DMC(基本概念,几种常用的DMC的定义,I(X;Y)计算) 1.离散无记忆信道DMC的充要条件(掌握证明,含义) 2.平稳信道 三.信道疑义度(重点:概念,含义,计算) 1.损失熵 2.矩阵计算 四.平均互信息量(重点:概念,两个定理,计算) 1.定义 2.两个定理(定义式,含义) 3.二元对称信道的平均互信息量:(重点:推导,公式,图,参数,含义) 五.离散无记忆N次扩展信道(重点:概念,信道矩阵求法,定理证明) 1.概念 2.信道矩阵求法 3.定理(重点:证明,含义) 六.信道容量(概念定义,常见离散信道的信道容量求法) 1.信道的大小定义 2.常见离散信道的信道容量(重点:信道特点,信道容量的计算,最佳分布) 3.离散无记忆N次扩展信道 4.独立并联信道(注意:根据输入分布判断是否为独立并联信道) 5.串联信道(重点:平均互信息量和信道容量的计算;数据处理定理的叙述和意义) 七.信道剩余度(重点:概念,计算,理解含义) 前言:四个基本概念: 一个图:维拉图 一个基本原则:获取信息的过程就是减小不确定性的过程 一.分类与信道数学模型(概念)数学模型:{X,p(y|x),Y},p(y|x)称为传递概率或转移概率 分类 二.离散无记忆信道DMC(基本概念,几种常用的DMC的定义,I(X;Y)计算) 1.离散无记忆信道DMC的充要条件(掌握证明,含义)含义:离散信道在i时刻的输出yi(i=1,2,…N)只与i时刻的输入xi(i=1,2,…N)有关,与i时刻之前的输入和输出都无关,所以该信道是离散无记忆信道。 且i时刻的输出yi(i=1,2,…N)与i时刻的以后的输入xi(i=1,2,…N)无关,这表明离散无记忆信道的“无预感性”。 2.平稳信道对任意正整数m、n,ai∈A,bj ∈B,若离散无记忆信道的转移概率还满足 含义:平稳信道的转移概率p(y︱x)不随时间变化。 二元对称信道(BSC) 二元删除信道(BEC) 二元对称消失信道 三.信道疑义度(重点:概念,含义,计算) 1.损失熵含义:表示输出端在收到全部符号Y后,对输入X上存在的平均不确定程度。 它表示信源符号经过有噪信号传输后损失的信息量。 等于X本身具有的不确定性,减去收到Y后帮助X消除的不确定性。 H(X|Y) ≤H(X),当X与Y相互独立时取等号。 注意: 不一定成立 2.矩阵计算 四.平均互信息量(重点:概念,两个定理,计算) 1.定义 2.两个定理(定义式,含义)对于固定信道(即p(yj|xi)固定,对i,j), I(X;Y)是信源概率分布p(xi)的上凸函数。 对于固定信源分布p(xi),平均互信息量I(X;Y)是p(yj|xi)的下凸函数。 3.二元对称信道的平均互信息量:(重点:推导,公式,图,参数,含义)
固定信道: 五.离散无记忆N次扩展信道(重点:概念,信道矩阵求法,定理证明) 1.概念数学模型: N次扩展信道的信道矩阵: 即N次扩展信道矩阵中各行之和为1 2.信道矩阵求法 3.定理(重点:证明,含义)若信道的输入和输出分别是 N长序列X和Y,且信道是无记忆的,亦即信道的传递概率为: 则 取等号的充要条件:信源无记忆 含义:信道无记忆时,N长序列X和Y的平均互信息量I(X;Y)小于或等于单个随机变量Xi和Yi的互信息量I(Xi;Yi)之和。 若信道输入和输出分别是 N长序列X和Y,且信源是无记忆的: 则 取等号的充要条件:信道无记忆 含义:信道无记忆时,N长序列X和Y的平均互信息量I(X;Y)小于或等于单个随机变量Xi和Yi的互信息量I(Xi;Yi)。 从上述证明可知,当信道和信源均无记忆时: 对于离散无记忆N次扩展信道: 六.信道容量(概念定义,常见离散信道的信道容量求法) 1.信道的大小定义单位:bit/符号,达到C的p(x)为最佳输入分布 说明:C是信道传输信息量的最大能力。是某个固定信道的最大信息传输率。只与信道统计特性有关,与信源分布无关。 2.常见离散信道的信道容量(重点:信道特点,信道容量的计算,最佳分布)无损有噪信道:一个输入对应多个互不相交的输出 无噪有损信道:一个输入唯一对应一个输出;一个输出可对应多个互不相交的输入。 无损确定信道(无损无噪信道):输入输出一一对应,信道矩阵P是单位阵 离散对称信道: 离散均匀信道: 离散准对称信道: 3.离散无记忆N次扩展信道条件:信源无记忆,且每个单符号信道的输入Xi都达到最佳分布 4.独立并联信道(注意:根据输入分布判断是否为独立并联信道)条件:信源无记忆,且每个单符号信道的输入Xi都达到最佳分布 5.串联信道(重点:平均互信息量和信道容量的计算;数据处理定理的叙述和意义) 七.信道剩余度(重点:概念,计算,理解含义)从无损信道的相对剩余度角度来解释香农第一定理(香农无失真信源编码定理)(重点掌握) 信源编码就是将信源S输出的消息变换成新信源X的消息来传输,而使新信源的符号接近等概分布,新信源的熵接近最大熵logr。新信源的消息通过信道的信息传率 接近最大值(logr),信道的剩余度接近于0,使信源和信道达到匹配,信道得到充分利用。这就是香农无失真信源编码定理的基本思想。 |
CopyRight 2018-2019 实验室设备网 版权所有 |