信息量

信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想,他将消息数的对数定义为信息量。若信源m种消息,且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究,还是从1948年C.E.仙农的奠基性工作开始的。

信息论中,认为信源输出的消息是随机的。即在未收到消息之前,是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后,尽可能多的解除接收者对信源所存在的疑义(不定度),因此这个被解除的不定度实际上就是在通信中所要传送的信息量。因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵公式 符号,式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度,是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的,所谓接收者获得了信息,是指接收者收到消息后解除了对信源的平均不定度,它具有相对性。对于信息量的说明须引入互信息的概念。

在信息论中,互信息的定义是:I(XY)=H(X)-H(X|Y),数式右边后一项称为条件熵,对离散消息可表示为公式 符号,它表示已知Y以后,对X仍存在的不定度。因此,互信息I(X;Y)是表示当收到Y以后所获得关于信源X的信息量。与互信息相对应,常称H(X)为自信息。互信息具有三个基本性质。

(1)非负性:I(X;Y)≥0,仅当收到的消息与发送的消息统计独立时,互信息才为0。

(2)互信息不大于信源的熵:I(X;Y)≤H(X),即接收者从信源中所获得的信息必不大于信源本身的熵。仅当信道无噪声时,两者才相等。

(3)对称性:I(X;Y)=I(Y;X),即Y隐含XX隐含Y的互信息是相等的。

对于连续信源的互信息,它仍表示两个熵的差值,所以也可直接从离散情况加以推广,并保持上述离散情况的一切特性,即

公式 符号

实际信源是单个消息信源的组合,所以实际信源的互信息I(X;Y)也可以直接从上述单个消息的互信息I(XY)加以推广,即I(X;Y)=H(X)-H(XY)。