下载文档原格式
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.2 离散无记忆信源及其扩展源3.2.1 离散无记忆信源【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。
当字符组成序列(如句子或文章)时，会出现问题。
3.2.1 离散无记忆信源 【两个新问题】 1.随着序列的伸延，信源选取字符的概率是否随着时间改变？2.序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。
分两种情况来讨论：字符之间不存在统计关联的信源叫做无记忆信源；字符之间存在统计关联的信源叫做有记忆信源。
例如，一个袋子里有10个黑球和10个白球。
从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。
1.【特点】①信源发出的各符号之间相互独立；②发出的符号序列中各个符号之间没有统计关联性；③各个符号的出现概率是它自身的先验概率。
2.【定义】设信源X 输出符号集A={a 1,a 2,…,a q } ，q 是信源发出的消息符号个数，每个符号发生的概率为p (a i )(i =1,2,…,q )，这些消息符号彼此互不相关，且满足： ),,2,1(1)(0,1)(1q i a p a p i q i i =≤≤=∑=∏===q i i q a p a a a P X P 121)()()(3.【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2121q q a p a p a p a a a X P X3.2.2 单符号离散信源【引例－例3.1】掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。
该信源输出了有限个离散数字，组成了符号集A:{1,2,3,4,5,6}，而且每一个数字代表一条完整的消息。
【分析】1.该信源输出的消息数是有限的。
2.该信源每次只输出一个消息，出现哪一种消息是随机的。
