离散信源的分类和数学模型离散⽆记忆信源的熵1.离散信源的分类和数学模型 在离散时间发出离散符号的信源称为离散信源。
如果信源符号集为有限集，则称为有限离散信源。
如果信源符号集为⽆限可数集，则称为⽆限离散信源。
离散⽆记忆信源的N次拓展源：设信源为X，则由X构成的N维随机⽮量集合X N = X1X2X3...X N(其中X i与X同分布)，称为信源X的N次扩展源。
2.离散⽆记忆信源的熵 2.1离散平稳信源若具有有限符号集A={a1,a2,a3,...,a n}的信源X产⽣的随机序列{x i},i=...1,2...且满⾜：对所有的i1,i2,...i n,h,j1,j2,...,j n及x i ε X,有p(x i1=a j1,x i2=a j2,x i3=a j3,...x i N=a jN) = p(x i1+h=a j1,x i2+h=a j2,...,x in+h=a jn)则称信源为离散平稳信源，所产⽣的序列为平稳序列。
平稳序列的统计特性与时间的推移⽆关，即序列中符号的额任意维联合概率分布与时间起点⽆关。
2.2离散平稳有记忆信源的熵设X为离散平稳有记忆信源，X的N次扩展源记为X N, X N=X1X2X3...X N. 根据熵的可加性，有H(X N)=H(X1X2X3...X N)=H(X1)+H(X2|X1)+...+H(X N|X1...X N-1) 定理1：对任意离散平稳信源，若H1(X)<∞,有以下结论：（1）H(X N|X1...X N-1)不随N⽽增加;（2）H N(X)≥H(X N|X1...X N-1); (3) H N(X)不随N⽽增加；(4)H∞(X)存在，且H∞(X)=limH(X N|X1...X N-1); 式（4）表明，有记忆信源的符号熵也可以通过计算极限条件熵得到。
3.有限状态马尔可夫链 3.1马⽒链的基本概念 设信源的符号集为{a1,a2,..,a q},信源的输出序列为x1,x2,...,x N,如果其中每个随机变量x n仅通过最接近的变量x n-1依赖于过去的随机变量x n-1,x n-2,...,即对所有的i,j,k,...有p(x n=j|x n-1=i,x n-2=k,...,x0=m ) = p(x n=j|x n-1=i) 则称{x n,n≥0}为马尔可夫链，简称马⽒链。
