永远跟党走 歌曲:第一章 绪论 1.3.1 信息、消息和信号

来源:百度文库 编辑:中财网 时间:2024/05/08 11:36:21

第一章 绪论

1.3 信息及其度量

1.3.1 信息、消息和信号

  通信系统的任务是传递信息,为了衡量通信系统的传输能力,需要对被传输的信息进行定量的测度。
让我们先来看一下信息、消息和信号的概念及三者之间的关系:

基本概念: 信息消息信号

信息消息信号的关系

  信息是指消息中所包含的有意义的内容,消息是信息的载体,消息又是以具体信号形式表现出来的。


  不同形式的消息,可以包含相同的信息。:分别用语音和文字发布的新闻,所含信息内容相同。如同运输货物的多少采用货运量来衡量一样,传输信息的多少使用信息量来衡量。

  下面,我们就来讨论信息是如何度量的。 

1.3.2 消息的统计特性

  消息可以分为两大类,即离散消息连续消息。产生离散消息的信源称为离散信源,产生连续消息的信源则称为连续信源
  离散信源只能产生有限种符号,因而离散消息可以看成是一种有限个状态的随机序列,它可以用离散型随机过程的统计特性来描述。
  假设离散信源为包含种符号的集合,每个符号出现的概率分别为 ,则可以用概率场

来描述信息源。例如,英语中26个字母及单词间空格的出现概率如表1-1示。

表1-1 英文字母出现概率

符号 概率 符号 概率 符号 概率 空格 0.20 s 0.052 y,w 0.012 e 0.105 h 0.047 g 0.011 l 0.072 d 0.035 b 0.0105 o 0.0654 i 0.029 v 0.008 a 0.063 c 0.023 k 0.003 n 0.059 f,u 0.0225 x 0.002 l 0.055 m 0.021 j,q,z 0.001 r 0.054 p 0.0175

  一般情况下,离散信号中各符号的出现并不是独立的,而常常是相互关联的。当前出现的符号,其概率与先前出现过的符号有关,即必须利用条件概率来描述离散消息。为了简化,通常只考虑前一个符号对后一个符号的影响。这是一个马尔可夫链问题,可以利用转移概率矩阵

来描述。
  连续信源可能产生的消息数目是无限的,其消息取值也是无限的,必须用概率密度函数才能反映其统计特性。消息各点之间的统计关联性可用二维甚至多维概率密度来描述。我们通常只考虑各态历经的平稳随机过程。