Jie Bao
Dept of Computer Science
Iowa State University
Ames, IA 50010
baojie@cs.iastate.edu

第二章 信息

1998年10 月

本章解释“信息”的含义。

什么是信息？

第一节 熵

从热力学和统计物理学看“无序”

第二节 香农理论

信息论基础和信息熵

第三节 维纳的信息观

控制论的信息观点

第四节 连续信源

从测不准原理看信息的本质

第五节 信息是有序度

定义信息

第一节 熵

信息系统的根本概念是信息，而信息与熵是密不可分的。热力学与信息论有一定的联系，必须从物理上回顾若干基本概念才能理解信息系统。对热力学和平衡态统计物理学熟悉的读者可跳过本节。

1. 热力学第二定律

在热机效率的研究中，提出了热力学第二定律，它指出了宏观过程的不可逆性。第二定律对于物理学、信息理论和生物学都有巨大的意义，对第二定律的思考推动了非平衡态统计物理学、信息的本质问题、生命的本质问题的研究。第二定律有多种表达方式，最常用的是：

①克劳修斯表述：不可能把热从低温物体传到高温物体而不产生其他影响。也就是说，不可能有这样的及其，它完成一个循环后唯一的效果，是从一个物体吸热并释放给高温物体。

②开尔文表述：不可能从单一热源取热，使之完全变为有用的功而不产生其他影响。

可以证明，这两种表述在逻辑上是等价的。

第二定律的克氏表述实质上说热传递过程是 不可逆的，开氏表述实质上说功转变为热的过程是不可逆的。两种表述的等效性实质上反映了各种不可逆过程的内在联系。正是这种内在联系使第二定律有多种表述形式，只要挑选出一种和热现象有关的宏观过程，指出其不可逆性，就可以作为第二定律的一种表述。也正是这种内在联系，使第二定律的应用远远超出了热功转化的范围。

根据卡诺定律，对孤立系统，任意循环过程都有 克劳修斯不等式 ，dQ 为系统从温度为T 的热源所吸收的热量，等号对应可逆过程，不等号对应不可逆过程。

若系统从初态A 经过可逆过程“1”变到末态B ，又经过任意另一可逆过程“2 ”回到A，构成一个可逆循环，则有 ，于是 的值与状态A ，B之间经历的过程无关，完全由初态A和终态B 决定，被积函数应当是一个状态函数的全微分（格林公式）。这一状态函数称为 熵 （Entropy），以S 表示。则

或

熵的单位为J/K （焦耳/开尔文）。

对于不可逆过程，根据熵的定义和克劳修斯不等式，有

，

对于不可逆微变化过程有

上式是热力学第二定律的直接结果和概括，是热力学第二定律的数学表达式。

对于绝热过程，dQ=0 ，因而dS≥0 。即系统经过绝热过程由一态到达另一态时，系统的熵永不减少。此即 熵增加原理。也可说为：“ 一个孤立系统的熵永远不会减少。”（如果系统是孤立的，其内部的一切变化与外界无关，必然是绝热过程 ）。非平衡态的熵可以定义为处在局部平衡的各部分的熵之和。

根据熵增加原理，孤立系统越接近平衡态，其熵值越大。当系统的熵达到最大时，系统达到平衡态，过程不再进行，只要没有外界作用，系统将始终保持平衡态。因此，可由孤立系统熵的变化来判断系统终过程进行的方向。只有dS ≥0的过程才是允许的。可以证明熵增加原理与热力学第二定律的开氏、克氏表述等效。

热力学第二定律指出：对一孤立系统，一些不可逆过程都会使熵增大，一切不平衡态都最终趋向平衡态。平衡态的特点是熵最大。在平衡态下，体系混乱度最大，无序性最高，组织程度最差，而且一旦进入平衡态，便维持这个平衡态，不能飞跃为另一种新的有质的不同的状态。

第二定律指出了时间的不可逆性。生命的出生、生长、衰老、死亡都充分显示了时间的不可逆性。但大多数物理定律都是可逆的，它们当中包含有时间，但与时间前面的符号无关，当t 变为-t时这些定律保持不变。只有当考察与热力学第二定律有关的现象时，如摩擦、扩散、能量转移等，才出现时间的不可逆性。生命和热力学第二定律都表现了时间的不可逆，这个问题引起了人们极大的兴趣和思考。

2. 熵的微观解释

L ．波尔兹曼首先建立了熵与系统微观性质的联系，从而使熵这个抽象的物理意义得到深入的解释。k 代表波尔兹曼常数1.380658×10 ^-23J·K ^-1，W 代表某一宏观态所对应的微观态的数目（或称热力学概率），则熵的统计表达式为

S=k ln W + S ₀

其中S ₀为熵常数。当S ₀为0 时，得到 波尔兹曼关系式

S=k ln W

因此可以把熵看成是与系统状态无序度相联系的量。系统无序程度越高，即系统越“混乱”，其对应的微观状态数目越多，熵就越大；反之系统越有序，熵就越小。

如前所述，根据热力学第二定律，一个系统在封闭情况下，总是自发地由有序到无序，熵总是增加的。如在一个封闭的系统终装有一个容器，内有两种气体，一种气体停留在容器的一端，而另一种气体停留在容器的另一端，这时，两种气体内的分子分别处于有序状态，系统的熵最小，但这种状态不会保持­ 很久，不一会儿，它们就混合起来，随着两种气体分子逐渐在整个容器内扩散，分子之间的排列越来越无序，熵就越来越大，在两种气体完全混合时，分子混乱程度达到最高点，这时，熵达到最大值，所以熵是系统的无序状态的量度。

从熵的微观解释可以进一步理解“不可逆过程”的实质。不可逆过程实质上是一个几率较小的状态到几率较大的状态的转变过程，所以此相反的过程的几率是非常小的。这相反的过程并非原则上不可能，但因几率非常小，实际上是观察不到的。在孤立系统内，一些实际过程都向着状态的几率增大的方向进行，熵不增是一条统计规律。例如，如果一间屋子里的气体分子在漫长时间的观察下，可能全部运动到屋子的左半部，而使右半部处于真空中。这种事并非原则上不能发生，而是由于气体分子数量极为巨大（阿佛加德罗常数为10 ²⁶量级），发生的平均时间远远超出太阳系的年龄，实际上是观察不到的。对生命中的不可逆现象，也可以有类似的理解。

3. 状态空间

克劳修斯在1865 年引入熵的概念后，波尔兹曼给出了统计解释。对于分子分布函数 （其中 ），波尔兹曼在1872 年定义如下的H量，即

并且证明了它是一个不随时间上升的量，即

≤0

这就是波尔兹曼的H定理。除了平衡分布外，其他情况下，H（t ）都随时间下降，因此，－H具有热力学熵的基本性质 。

年，美国物理学家J ·W·吉布斯在其《统计力学的基本原理》这本名著中，建立了平衡态统计物理的体系，进一步刻画了熵的本质。

根据经典力学，具有N个自由度的力学系统可用广义坐标q ₁、q ₂、…、q _N和广义动量p ₁、p ₂、…、p _N描述。把这些q _i和p _i取作直角坐标，它们构成一个2N维的空间，称为 相宇或相空间。相宇中的每一个点代表系统的一种可能的运动状态。可以想像大量性质相同的力学系统，它们的差别之在于初始条件，因而处于各种不同的运动状态。于是相宇中的每一点代表一个力学系统。这些系统的集合称为 系综或统计系统。力学系统随时间演化，其代表点在相宇中连续地改变位置。统计平均对于微观运动的尺度而言，是一种长时间的平均，也就是对对应于同一个宏观状态的一切可能的微观状态求平均，或者说对系综求平均。（即 各态历经假设，实际上，这个假设是不正确的，微正则系综才是统计物理的基本假设。）引入相宇中代表点的分布密度函数 ρ（q ₁、…、q _N ，p ₁、…、p _N , t）, 于是任何力学量A的平均值就是：

式中dΓ是dq ₁dq ₂…dq _Ndp ₁dp ₂…dp _N的缩写。如果定义 ρ时引入适当比例常数，保证概率归一条件

则

类似地，定义H量为

熵

这样，熵可以看成对概率状态空间分布性质的一种刻画。有序与无序，是对状态空间大小的描述。“序”，与“态”联系起来了，统计物理学规律可以过渡到量子力学规律。

4. 熵是无序度的量度

1927 年，J ·冯·诺埃曼用密度算符给出了熵的量子力学表述，称 冯·诺埃曼公式

假定体系在确定的密度算符ρ所描述的状态下，具有W 个不同的纯态，各纯态都以相等的概率出现，即ρ ₁= ρ ₂= … = ，则有：

此即波尔兹曼关系。

在统计物理中，可以这样理解： 具有负熵的性质，则熵与H 只相差一个系数。定义

或

统计物理学中有一条基本假设：如果对于系统的各种可能状态没有更多的知识，就假定一切状态的概率均等。则 ρ _i = 。

∴ 或 = k ln W

量子系统混合态中包含的纯状态越多，熵越大；反之，熵越小。所以，熵又是体系无序度的量度。

5. 热寂 与进化论的矛盾

克劳修斯说：“宇宙的熵趋向极大。宇宙越是接近于这个熵是极大的极限状态，进一步变化的能力就越小；如果最后完全达到了这个状态，那就任何进一步的变化都不会发生了，这时宇宙就会进入一个死寂的永恒状态。”这就是“热寂说”。

根据热寂说，宇宙将最终达到平衡态——一个宏观静止，分子排列最混乱的状态。“一切现存的机械运动都变为热，而且这种热将放射到宇宙空间去，尽管‘力不灭’，一切运动还是会停下来”（《自然辩证法·导言》）

但事实上，自然界的演化并不总是熵增的过程。19世纪，热力学第二定律与达尔文生物进化论分别论述了物理世界与生物世界各自截然不同的两种演化趋势。热力学系统有从有序走向无序、从非平衡走向热平衡的退化趋势。与此相反，生物进化论认为，生物物种的演化总是从简单到复杂，从低级到高级，从有序程度低的生命组织走向有序程度高的生命组织，生物界存在着明显的进化趋势。

例如，从无机小分子到有机大分子，再到细胞，是一个有序度增加的过程。刘易斯·托马斯说：

“若从物质方面来看，我们存在在统计学上的几率更是小得惊人。整个宇宙之间，物质的可预测性乃是随机性，是某种大致的平衡。各种原子及其粒子乱纷纷四散着。与此形成鲜明对比的是，我们则是完全组织好的物质结构，每一条共价键都有信息在蠕动着。我们活着，靠的是在电子被太阳光子激发的一霎那就捉住它们，偷来它们每一次跃迁时释放的能量，把这些能量存入我们自己错综复杂的回路里。我们的本性是违反概率的。能够有条不紊地这样做，又是这么千态万状，从病毒到巨鲸一起都这样做，这是及其不可思议的。而在我们生存的数十亿年中成功地继续了这一努力，没有漂回到那随机状态，这简直就是数学上的不可能。”

薛定谔认为，基因是一种非常小的、不足以显示统计学规律的原子团，可它却支配着有机体有秩序、有规律的行为。基因有三种基本特性：一是基因的原子数量很少，一个基因包含的原子不会超过一百万各或几百万个；二是基因的不变性，由此表现为遗传模式的持久性；三是基因的突变，也就是说生物种的突变是基因的突变，因此这种突变才可以遗传。从统计物理学的观点来看，基因结构似乎只包含了很少量的原子，可是它却以奇迹般的不变性表示了最有规律的活动，我们如何使这两方面的事实协调起来呢？

这种矛盾来自将第二定律超出它的应用范围。在推导和表述中，第二定律一个前提是“孤立系统”，它不适用于开放系统。宇宙是不是孤立系统？目前还不能做出明确的回答。“热寂说”将宇宙看作孤立系统，并没有确切的根据。自然界中绝对的封闭系统和孤立系统是很少的，生命、社会、自动机都不是封闭的，并不完全受热力学第二定律的控制。

6. 麦克斯韦的妖精

如何从无序到有序？麦克斯韦1871 年在《热的理论》中用一个与热力学第二定律不相容的悖论的形式非常清楚的提出来了。

麦克斯韦说，想象有某个生物，一个“妖精”，神通广大，能跟踪充满容器的每个气体分子的运动。把这个容器用一道隔板分为A ，B两部分，并在隔板上安装一个阀门，当阀门打开时单个气体分子可以从容器的一部分经过阀门进入另一部分去。

假设这个容器开始时完全充满了一定温度的气体，按照热的动力论，一定的温度对应于分子的一定的平均温度，因为气体分子的运动具有随机性质，有的分子的速度将大于平均值，有的则将小于平均值。妖精在适当的时候打开阀门，让快的分子从B 进入A，慢的分子从A进入B ，结果不须消耗能量，B 部分的温度就下降，A部分的温度就上升，热量可以自发地从低温物体流向高温物体。

为什么麦克斯韦的妖精能破坏热力学第二定律？一般的解释是：妖精必须得到一些“知识”，才能把“快”分子和“慢”分子区分开来。为了获得这些信息，要不要消耗能量？如果需要，则容器、气体、隔板、妖精作为封闭系统，为得到所要信息所需的能量，将不大于因利用这一信息而吸收的能量，并没有违反热力学第二定律。

如果系统不是封闭系统，则系统通过与外界的能量交换，有可能吸收“负熵”。生命系统，社会系统，自动机系统，作为开放系统，都有可能向有序化方向发展。酶，就是生命中的麦克斯韦的妖精；而人类全体作为麦克斯韦的妖精，增加着社会的有序度。毕竟，“妖精”，用我们的话说，是个生物，也是个信息系统。

第二节 香农理论

本节主要通过信息论的香农理论解释通讯条件下的信息。信息熵的定义与熵的定义相似，有一定的内在联系。但香农对信息的理解是包含了认识主体的状态在内的，实际上是“信息差”，并不是对事物自身状态的描述。

1. 通讯系统模型与信息

在日常生活中，信息是指“消息”，“情况”等。看电视、看报纸、看书、打电话、听广播、上网浏览，乃至聊天、开会，人们都获得了“消息”。消息通过“消息传递系统”传递，各种系统可以抽象为通讯系统模型。这一模型并不只限于通信系统，对于生物神经系统，遗传系统，市场的经济信号感知反馈系统，管理系统，都可以运用这个模型。

在消息传递系统中，其传输的是消息；但消息传递过程中，最普通，却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的。消息的传递过程，对收信人来说，是一个从不知到知的过程，或者说是一个从不确定到确定的过程。

从通信过程来看，收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息。例如，看天气预报前，不清楚天气的将出现何种状态；看天气预报后，这种不确定性就大大缩小了。所以通信过程是一种从不确定到确定的过程。不确定性消除了，收信者就获得了信息。所以香农认为， 信息是不定性的减少或消除。即

I = S(Q/X)-S(Q/X')

I代表信息，Q 代表对某件事的疑问，S 代表不定性，X为收到消息前关于Q的知识，X' 为收到消息后关于Q 的知识。

2. 不确定性

用数学的语言来讲，不确定性就是随机性，可以用概率论与随机过程来测定不确定性大小。1948 年，香农发表了《通信的数学理论》，使用概率方法，奠定了现代信息论的基础。

离散情况下，信源的数学模型就是一个概率空间

为信源可能取的消息（符号）， 为选择信源符号 作为消息的先验概率。如果知道事件 已发生，则该事件所含有的 自信息定义为：

代表两种含义：当事件 发生以前，表示 发生的不确定性；当事件 发生以后，表示事件 所含有的信息量 。即通讯前，不确定性在状态空间[X ，P]中；通讯后，不确定性被缩小至状态 。信息量单位被定义为 比特(bit) ：

(比特)

3. 离散信源的信息熵

定义自信息的数学期望为信源的平均信息量，即

此即信源的 信息熵 ，它代表了信源输出后每个消息所提供的平均信息量，或信源输出前的平均不确定度。试将此式与 H量和熵比较：

,    或

显然，信息熵与熵只相差一个系数，两者可能有内在的联系。如何理解信息熵和熵的关系？单从概率的表达式看，两者的定义是相似的

信息熵并不是负熵，它描述的是信源 不确定性而不是 不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的减少或消除，这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。信源、信道是信宿成了认识过程的不可分割的部分，主客体是不可分的；香农的概率，是主体对客体（信宿对信源）的一种先验主观认识，这本身就加入了主体的因素。因此，作为“通信中的数学理论”，信源与信宿在信道联系下的“互信息”，才是香农的“信息”。

4. 离散信道

信道的任务是以信号方传输和存贮信息。

离散信道的数学模型是：

输入信号X=(X ₁…X _i…X _N)，输出信号Y= （Y ₁…Y _i…Y _N），每个随机变量X _i和Y _I又分别取值于符号集X=（a ₁,…, a _r）和Y= （b ₁,…, b _s）, 其中r不一定等于s 。条件概率P(Y|X) 描述了输入信号和输出信号之间统计依赖关系，反映了信道的特性，包括噪声、信道的记忆性等。

定义信道疑义度：

它表示在输出端收到全部输出符号Y 集后，对于输入端的符号集X尚存在的不确定性。对X集尚存在的不确定性是由于噪声引起的，无噪信道的信道疑义度H（X|Y ）=0 。可以证明，H（X|Y ）于是定义 平均互信息：

它表示收到消息y后获得的关于x的信息量（互信息）的数学期望。

可以证明对串联信道 :

（X ；Z）≤I （X ；Y）

（X ；Z）≤I （Y ；Z）

表示通过信息处理后，一般只会增加信息的损失，不可能增加原来获得的信息。这意味着，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息；信息一旦丢失，如不触及信源，就不能再恢复。这就是 信息不增原理，又称 数据处理定理。它与热力学第二定律是否有关系，还需要认真的思考。

熵只是平均不确定性的描述，而不确定性的消除才是接受端获得的信息量，信息量不应该与不确定性混为一谈。

从信源概率空间的角度来看，通信就是信源对信宿的概率状态空间减小的过程。通信前对信源的不确定度大，其熵为H （X）；通信后，对信源的不确定度缩小为信道疑义度H（X|Y ），这是由噪声带来的，又称损失熵；两者之差就是获得的香农信息I （X；Y ）。信源状态空间缩小一半，则获得1 比特信息。

第三节 维纳的信息观

信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同。

香农理论中的信息熵定义为 与热力学中的熵公式是一致的，维纳在1948 年《控制论》中也给出一个信息量的公式： ，刚好与香农公式差一个负号。因此，维纳认为：“ 信息量是一个可以看作几率的量的对数的负数，它实质上就是负熵。”与热力学中熵表示系统紊乱程度相反，负熵是系统组织程度或有序性的量度，于是信息被定义为“ 系统组织程度或有序性的标志”。1950 年在《人有人的用处》中，维纳说：“消息集合所具有的信息是该集合的组织性的量度。”

为什么香农与维纳的公式刚好差一个负号？因为香农把信源发送何种消息的不确定性看作 信源本身的特性，而维纳则认为这个不确定性是 信宿对信源状态估计的特征，从这个意义上，不确定性就是信宿对信源认识的熵，简而言之，是信宿的熵。当信宿收到一个确定的消息，信宿的熵就被消除了，这样消除信宿熵的信息便有理由被认为是负熵。

总之，信息量（互信息），被当作信息熵（不确定性）的减少。但香农信息关心的是“不确定性的减少”，即熵的变化量；而维纳信息关心的是“确定程度”本身。

注：维纳还提出过别的定义。在《控制论》初版导言中维纳说：“消息是分布在事件上可量事件的离散或连续的序列——确切地说，就是统计学家所谓的事件序列。”这时候，维纳把信息看成是 物质和能量在空间、时间上的不均匀分布的表现。在《人有人的用处》，维纳又提到：“信息这个名词的内容就是我们对外界进行调节并使我们的调节为外界所了解时而与外界交换来的东西。”此处，维纳将信息作为 控制系统进行调节活动时，与外界相互作用、相互交换的内容。

第四节 连续信源

以上对信息的讨论大都是针对离散信源的，实际上信源还包括连续信源。我们分别从香农理论和量子力学的角度来理解连续信源的“信息熵”。

1. 取样

香农理论中，连续信源的数学模型为连续型的概率空间：

并满足

一般用平稳遍历的随机过程来描述连续信源的输出。（平稳过程如果满足“各态历经假设”，称为遍历过程。）

根据奈奎斯特（Nyquist）取样定理，如果某一时间连续函数f(t)的频带受限（≤F）, 函数f(t) 完全可以由每隔Δ≤1/2F的一系列瞬时取样值确定。频率限于F，时间限于T 的任何时间连续函数，完全可以由2FT 个取样值来描述。这些取样值通常称为2FT 个自由度，这样，就把时间连续的函数变换成时间离散的取值序列把随机过程变成时间离散的随机序列来处理。

实际上，时域、频域同时受限的时间函数是不存在的，时域受限的函数从理论上说其频谱必然是无限的，频率限制在F 内，则在时间上必然伸展至无穷远。信息论的这种分析方法必然带来部分失真。

2. 连续信源的熵

定义连续信源的熵为：

与 定义刚好差一负号。原因是香农信息熵就是对信源不确定性（无序程度）的描述，而H 量有负熵的含义。

香农理论认为：所定义的连续信源的熵并不是实际信源输出的绝对熵，而连续信源的绝对熵应该还要加上一项无限大常数项。因为连续信源的可能取值是无限多个，若设取值是等概率分布，则信源的不确定性为无限大，当确知输出为某值后，所获得的信息也将为无限大。连续信源的熵h(X) 具有相对性，又称 相对熵。 信息论关心的是熵差（获得的信息），而不是熵本身的大小。

两种特殊连续信源（限频F，限时T ）的熵为：

• 均匀分布信源 （峰值功率受限下具有最大熵的信源） ，X ∈[a,b]

• 高斯信源（平均功率受限下具有最大熵的信源）（正态分布，σ _i为方差）

以后可以看到，由于各态历经假设，这两种信源具有特殊的重要性：如果没有关于信源更多的知识，通常假定信源是熵取最大值的信源。

对连续信源和连续信道，同样有平均互信息：

Y)=h(Y)-h(Y|X)

在离散变量中所得的有关结论均可推广到连续变量中来。

3. 测不准原理

前面指出，在时间、频率上同时受限的时间信号是不存在的，通过采样来分析连续信源只能是一种工程的方法。实际上，采样必然带来“信息”损失，也就是说，通过采样离散化信源状态，只能是在宏观条件下的一种近似，例如对矩形信号：

忽略频域第一个零点之外的能量，才可认为信号在时、频域上都是带限的。

傅立叶（Fourier）变换分析能较好地刻画信号的频率特性，但几乎不提供信号在时域上的任何信息。这样，我们在信号分析中面临如下一对基本矛盾：时域与频域的局部化矛盾。即我们若想在时域上得到信号足够精确的信息，就得不到信号在频域上的信息，反之亦然。为了知道F 在ω处的信息，必须知道所有时间t ∈（—∞，∞）上的信号信息。

在电子和通讯中，还有一些矛盾，如：编码可靠性和有效性的矛盾，信道容量和传输率的矛盾，放大器增益和带宽的矛盾。它们实质上与时频域矛盾是等价的。

能不能在傅立叶分析之外，找到其他的分析手段，使我们可以同时精确获得信号的时域信息和频域信息呢？1964 年，Gabor引入了窗口傅立叶变换；1984年，Morlet引入了小波（Wavelet）变换。这些变换的思想是：将时—频域平面分割为一组“小窗口”，这些“窗口”不重叠地铺满全平面，对应于一组正交滤波器，从而同时获得信号的时频域信息。窗口面积越小，则在时域和频域上的局部化程度越高。小波变换由于对信号细节的描述能力，被喻为“数学显微镜”。

但是，小波变换窗的时域宽度和频域宽度是有一定约束的，两者无法同时都任意小。设g(t) 为窗口函数，其傅立叶变换为 ，则必有：

这说明，我们不可能同时精确地获得信源的时间信息和频率信息。在傅立叶变换F( ω)中 而 ，在时域表达f(t) 中 而 ，这就是我们熟知的“冲激—白噪变换对”。为什么呢，粗略地，可以这样来理解：

假如函数g(ω) 只在紧靠着ω= ω ₀的附近具有大的数值，那么我们可以说频率是十分确定的：振幅f(t)表示的是一个接近于单色的过程。在一段长的时间间隔内，振幅f(t)的的近似形式是f(t)=A e ^-iωt。在另一方面，假如振幅f(t)只在t=t ₀附近某个小的时间间隔内有大的数值，这相当于f(t)表示一个很尖锐的脉冲，这种情况下频率就很不确定，g(ω) 将在相当大的频率范围内相当可观。不能都以任意高的精度来确定与该过程相关的频率和这一过程发生的时间。频率的不确定性 和过程进行时间的不确定性 服从：

如对矩形窗函数，即使忽略第一零点外的频谱，即有：

这种不确定性是由量子力学的海森堡测不准关系（或称为“不确定度关系”）决定的。一般地，当两个表示力学量的算符 不互易时，即

则

要指出，测不准关系是由于微观客体的波粒二象性这一基本属性所决定的一对物理量测量值值谱分布宽度间的制约关系，该关系根本与测量及误差无关。这一关系并不是单纯描写我们的测量仪器“不幸”和不可避免地“干扰”经典粒子的有秩序的经典运动，相反，它说明了一个限度，超过这一限度，就不能把经典概念外推了。

测不准关系背后有非常深厚的哲学意义。爱因斯坦、波尔的那场有名的大论战就是由对测不准关系的论战，发展到对物理实在观和认识论的分歧的。测不准关系与热力学第二定律、超距作用（相对论），与信息的概念、信息量的单位问题，可能有密切的联系。在唯存在主义哲学中，我们还要进一步讨论它。

在香农理论中认为连续信源的可能取值是无限多个，这是数学上的理想状态。考虑到测不准关系，具有 q和 p 的状态只能在ΔqΔp ≈h 的精确度上定义，h ^N是相宇中对应一个状态的最小元胞的体积。于是定义相格

这样连续信源的状态空间即被离散化了。

第五节 信息是有序度

1. 基本假定

现在，让我们回顾一下对信息的讨论：

• 熵是系统无序度的量度，信息熵代表信源的不确定度，也是无序性的表现。
• 无序与有序的实际含义是系统在状态空间中的几率分布问题，对一个系统而言，无序性强即意味着可能处于的状态数较多。
• 通讯中的“信息”是信宿对信源不确定性的减少。
• 由于量子效应，没有一种决定性可以使我们以绝对的方式决定系统的未来，没有任何一组可以设想的观测能提供我们关于系统的足够信息。

在日常生活中，我们讨论的信息并不是信源熵，而是通讯过程中“不确定性”的减少，或信源熵的减少。这就提出一些问题：信息是客体本身的特性吗？主体对客体的认识过程是否使信源发生改变（信源熵减少）？信源熵是不依赖于主体的客观存在吗？在给出信息的定义之前，我们必须对这些问题做出回答。这些回答具有哲学意味，只能作为理论中的基本假定引入信息系统论的体系，与其他任何理论体系一样，其正确性也只能最终由实验和实践来检验其推论是否正确。

我们的假定是：

物理实在是脱离于认识主体（不一定是人）的客观存在，但认识过程是主体和客体的交互过程；主体对客体的不确定度最小单位是一对共轭不易量的不确定度。

这个假定的第一句是“唯物论”，第二句是“认识论”，其实本体论的核心问题还是认识论，即“…不依赖于…”这种表述本身就涉及认识主体、认识客体的定义及相互关系问题。

假定的后一半是“信息量子化”假定，是对测不准关系的总结。即认为信息作为物理实在，是“序”的反映，由于物质和能量的量子化，信息也应该是量子化的。这一假定也与认识论有密切关系：它是以通信的角度来表述的，而认识本身就是一种通信过程。

（关于量子化的数量表达式，应当从物理上提出，但应该是诸如 这样与熵同量纲的表达式。）

（认识问题的重点在认识主体，而我们认为只有信息系统才可以作为认识主体。这个问题还是在对信息系统做全面的分析后，留到唯存在主义哲学中去讨论吧！）

2. 信息是有序度

于是我们定义：

信息是系统有序度的量度，它是与质、能并列的物理存在。

设描述系统的系综为Γ，系统的状态概率分布为ρ( Γ)，则系统的信息熵为

这一定义与系统熵的定义并无二致，因为信息熵是从香农理论中沿用下来的概念，本来就是不确定性、无序性的量度。

设系统在热力学平衡状态的熵为S _m（此时系统处于最混乱状态，熵最大），系统当前熵

ρ)=H( ρ)

则定义系统包含的信息为：

I(ρ)= S _m-S(ρ)

这样就可以认为“信息量是一个可以看作几率的量的对数的负数，它实质上就是负熵。”（维纳）。

这个定义乃是依赖于我们的基本假定的，它不涉及认识、通信中的主体、客体问题，而将信息定义为客观实在。但一个问题是：我们是如何获得“热平衡态”的知识的？我们为什么可以假想系统在热平衡态的行为？这种假想本身是不是已经包含“先验信息”了呢？如果是，这种“先验信息”是不是某种普遍联系的结果呢？我认为，这些问题不是在信息系统论内部可以解决的，更多的讨论请看第6 段“几点看法”。

3. 信息与熵

波尔兹曼曾写道：“熵是一个系统失去了的‘信息’的量度。”其他科学家也认为：“熵的获得永远意味着信息的丢失，而不是别的。”可见，熵这一名词出现后，就与信息紧密联系在一起。冯·诺依曼建议香农将他的“不定性”称为“（信息）熵”并非偶然。

信息是有序性的量度，熵是无序性的量度，它们是一张盾牌的两个面，都是“序”这一物理概念的体现。序用信息来表示时，代表认识主体可能获取的最大信息量。一定物质和能量条件下，系统的“序”有一定的范围，也就是信息量有一定上限。

为了理解“序”和信息的关系，举例如下（徐龙道，1987 ）：假设有N个自旋量子数为1/2、质量为m 、电荷为e 的粒子系统，处在恒定外磁场 H中，粒子能量可取两个值： ，设处在ε能级上的粒子数分别为N ₊和N _-，则N= N ₊+N _- 和系统的能量U= （N ₊+N _-）ε，即 。系统的微观状态数 ，则系统的熵利用斯特林（Strling）近似公式（ln N!=N! ln N - N）有：

所以

当T=±0 时，系统处于最低能态，所有N 个粒子都处于低能级-ε上，而系统的熵S=0。系统的能量和熵随着温度的升高而单调的增长。当T=±∞时，U=0，而熵达到极大值Nkln2，此时各有N/2个粒子处于- ε和+ ε能级上。

如果用信息的观点去看，T= ±0时，系统的状态完全确定，有序度最高，信息熵最小（=0）；T= ±∞时，系统达到最无序状态，信息熵也达到最大值Nk ln2 (J/K)。从信息论的角度，N 个粒子各有两种状态，信源的最大熵为N bit 。以后我们要看到，k ln2 J/K =1 bit ，两种理论的结果是一致的。

4. 信息与香农信息

如何理解信息熵和熵的关系？单从概率的表达式看，两者的定义是相似的

信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的叫少或消除，实际上是“互信息”；因为这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。

通讯是什么？是信宿状态的改变，香农熵中要求先验概率，这种概率本身已包含了先验信息，称为通信前的 基信息。

信源发出某符号X _i，代表系统本身可能处于的一组简并状态，组成局部状态空间Γ _i，

[X _i，p(X _i)]构成信源的概率空间，则基信息为

通信后信宿的状态发生了改变（比如计算机的存储器电位）[ 通信的特点之一是信宿必须能存储映射中状态的改变，这需要克服第二定律，于是需要反馈和能量供给] ，从而获得了一些“信息”。 宏观条件下，通信后信源本身并没有改变，而信宿发生了改变。信宿得到信息是信宿对信源的基信息之差：

（* ）

信源本身没有发生变化时：

H ₂(X)就是信息论里的信道疑义度H （Y|X）。

要注意，公式（*）是统计规律。在通信中，一次通信过程由于噪声的干扰，不能保证接收符号确实是信源状态的反映。为了求出通信的可靠性，也即估计噪声的大小，必须惊醒统计平均；又由于各态历经假设（遍历假设），可以转化为样本的时间平均，但信源的“本征噪声”是平均不掉的。这就是“信息量子化”假设的原因。因此，在量子条件下，上公式不再成立。

为什么可以从我们的定义过渡到香农的定义？我们定义系统有序度

S _m是最大熵，S 是当前熵，I是系统信息。R表现了系统偏离平衡的程度，或有序的程度，一个完全无序的系统取0值，而对理想的有序系统取值1。

注意，这个定义与香农理论中的“信源剩余度”r一致：

信源剩余度表示信源可“压缩”的程度，是信宿的主观量，与信源本身无关。可以这样理解：剩余度r=0 时，信宿没有任何关于信源的基信息，于是就假定信源处于熵最大的状态，就是主观假定信源有序度为R=0 。在获取了一些信息后，信宿仍认为未被认识的H ₂(X)部分处于最大熵状态，

通信理论确实是建立在这一假设基础上的，这就是 各态历经假设：随机变量理应经历各种取值状态。信息论假定信源是平稳遍历的，就已经隐含了这条假设。这一假设的物理表达是 等概率原理：处于平衡态的孤立系统，它的所有微观态出现的概率是相等的；或者说：力学系统在相宇中的代表点的轨道将通过能量曲面上的每一点。但实际上，各态历经系统是不存在的， 微正则系统才是统计物理学的基本假设（其 经典表达我们已在1.3 中给出：如果对于系统的各种可能状态没有更多的知识，就假定一切状态的概率均等）：系统以相等的概率处于微正则系综等能面上的各个微观态中。

5. 信息单位

到目前为止，我们对信息使用了两种单位，在信息论中使用比特（bit ），在物理中使用焦耳/开尔文（J/K），两者的关系如何？这个问题由麦克斯韦的妖精回答。

麦克斯韦妖只有根据收到的信息才能动作，而这些信息，表示“负熵”。信息必须通过某种物理过程来传递，而且这种传递可以是能量要求非常低的（远远高于日常通信的效率），但根据量子力学，如果我们不积极取影响实验粒子的能量，使它超过某一极小值，我们要得到有关粒子为止和动量的任何信息都是不可能的，要同时得到为止和动量的任何信息就更不可能了。因此，所有各种联系严格说来都是能量的耦合。

法国物理学家L ·布里渊1956年指出信息和能量之间的内在联系：

设有N 个等概率状态的物理系统中，绝对温度T ，输入能量Q，对应熵变化为：

假定该系统仅有两种等概状态，N=2 ，其平均信息量为log ₂2=1比特，该系统相应熵变化为

ΔS=K ln 2焦耳/ 开尔文，增加 1比特信息相当于使系统的熵减少数量级为：

1 比特 =k ln 2 焦耳 / 开尔文 =0.957 × 10^-23 焦耳 / 开尔文

∴信息的获取必须借助于一定的物质过程，并伴随着一定的能量。任何系统要获得信息，必须增加热熵来补偿，关系即获取1bit 信息系统热熵至少增加 kln2。

布里渊给出热力学第二定律的推广形式：

ΔS为热熵增量，ΔI为信息熵增量。我们注意到这一表达式与普里高津的

在形式和意义上都很相似。在下一章里，我们还要讨论其联系。

在孤立系统中，如果有信息参与，就不能说热熵不能减少，而是ΔS —ΔI不能减少。这样，就很好地解释了麦克斯韦妖理想实验。麦克斯韦妖之所以能降低与它联系着的系统的热熵，是因为它获有信息（或者说耗散结构论中的“负熵流”）。

6. 几点看法

这一段提出一些想法，并没有太多的实验根据，只是一些启发性的思路。

首先我们来参考 历史上几种对信息的理解。

1 、信息可以看作现实物质存在方式和状态的物质属性。[ 周小雁，《信息论极其哲学意义》，1991]

我的意见是：信息可能是一种物理实在的属性，但更可能本身就是一种物理实在。质、能、序是相互转化的。上面这个定义将信息称为一种物质属性，就好象说能量是物质的一种属性一样，是不当的。另外，信息并不是物质的一般存在方式的反映，而是其微观状态分布的量。

2 、信息是由物理载体与语义构成的统一体。[ 克劳斯，1961]

这种定义还是从通讯的角度去定义信息。可以认为，在一定的范围内，这种狭义的信息定义是可行的，但这不是物理的，只能是哲学的。从通讯去定义信息，必然遇到认识主体和认识客体的关系问题，而认识主体的机理理解又离不开信息本身，通讯领域的信息，只是不确定性的减少，是信宿的特征，无论信源熵也罢，语义也罢，主观重要性（加权熵、意义信息）也罢，都不是信源本身的特征。

非平衡态信息论

由于各态历经假设，在经典信息论和通信理论中，信源被作为热力学平衡系统来研究。我们能不能研究非平衡、甚至远平衡的信源呢？在社会中，大多数信源都是远平衡态系统，不是平稳遍历的，我们应该进行非平衡态信息论的研究。我相信，以非线形分析为手段，以远平衡态统计物理学和量子场论为基础，这是可以实现的。

EPR悖论与信息

可以看到，信息问题是一个涉及物理学，通信理论，控制理论，哲学诸学科的问题。对信息的理解，关键在于物理学的发展。我有一个感觉，爱因斯坦—波尔大论战（至今也没有平息），对信息的实质理解有重大意义。量子论和相对论的矛盾，是二十世纪末“物理学晴空中的一朵乌云”。这个分歧的实质是：1 ）物理实在是否是独立于人的感觉、意识的客观存在（实在性）。2 ）两个物理客体之间的信息传递速度能不能超过光速（定域性）。爱因斯坦说“是”，于是提出EPR 悖论；以波尔为首的哥本哈根学派实际上认为“否”：主体客体不可完全分开，信息可能超光速。这一争论可以转化为：信息是什么？信息的传递速度有无极限？信息是否也是量子化的？信息与物质、能量的转化关系怎样？

对贝尔不等式（爱因斯坦定域实在论的推论）的实验检验，倾向于波尔理论而否定相对论。我在这里暂时采用了量子力学的观点，在基本假定中就包含了上面两点的波尔观点。但并不是说，量子力学的认识就是绝对真理；任何理论都是人类对世界的近似模型，只有通过事件去检验其有效性。

上帝掷不掷骰子？

信息问题，主要是一个物理问题而不是哲学问题，但物理假定本身又涉及哲学认识。任何物理理论，剥开其复杂公式、定义的外表，其内核都是对世界的哲学认识，就如同爱因斯坦相信严格因果性，“作为实体而存在的物质世界具有完美的规律”，反对上帝掷骰子一样。

上帝掷不掷骰子？我认为这如同麦克斯韦妖问题一样，在对于信息的理解。如果上帝是信息系统，为了获取信息，“他” 就应该投骰子。那什么是信息系统呢？我们下一步就要研究这个问题。