香农信息定义解读

魏艳红

渭南师范学院数理学院

香农信息定义解读

魏艳红

渭南师范学院数理学院

“信息”是当今这个时代最核心的词汇，有关信息的定义已被列为21世纪100个交叉科学难题之一。不同的领域对信息有不同的解读，作为信息科学的鼻祖，香农对于信息的定义具有绝对的说服力，在对该经典定义方式深刻解读的基础上，对其优缺点进行了详细的论述。

信息 通信系统 全信息

1 前言

计算机的出现和普及，把信息对整个社会的影响提高到绝对重要的地位。信息量、信息传播的速度、信息处理的速度以及信息应用的程度都以几何级数的方式增长。“信息”成为21世纪重要的代名词。“信息是什么”却在中国科学院编写的《21世纪100个交叉科学难题》一书中被列为100个难题之一。有关信息的定义,最早可追溯至1948年美国科学家维纳(N.Wiener)的《控制论—动物和机器中的通信与控制问题》一书中提出的:“信息就是信息，不是物质，也不是能量”。后来，人们从不同领域、不同角度给出的信息定义论述不下百种，这些定义之间存在很大差异甚至相互矛盾。

2 已有的对信息的定义

2.1 信息的哲学定义

从哲学的角度，人们给出了“物质、能量和信息是构成客观世界的三大要素”、“信息是物质和能量在空间和时间中分布的不均匀程度”、“有物质的地方就有信息，信息是物质存在和运动形式的一般描述”等定义，从宏观上将信息上升到同物质和能量一起，作为21世纪的三大支柱性资源，并且认为物质和能量是信息的承载者。

2.2 信息的通俗概念

牛津英语词典中将信息定义为：通过各种方式可以被传递、传播、传达、感受的，以声音、图像、文件所表征，并与某些特定事实、主题或事件相联系的消息、情报、知识都可统称为信息。这种定义方式接近于人们对信息的日常理解，消息、情报、知识和信息都有非常紧密的联系，却不能概括信息的全貌。消息是文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，是具体的，而信息确是抽象的。消息中隐含着信息，是信息的载体。情报是人们对于某个特定对象的所见所闻所理解而产生的知识，是一种特定的信息。知识是一种具有普遍和概括性质的高层次信息。情报和知识都只能作为一种特殊的信息。

3 香农关于信息的定义

1948年，信息论奠基人，美国科学家香农(C.E.Shannon)，在“通信的数学理论”一文中，把信息定义为“事物运动状态和存在方式的不确定性描述”。并且对通信系统的基本模型以及信息熵，信息量等概念进行了阐述。

3.1 信息的定义

“事物运动状态和存在方式的不确定性描述”，这是香农从概率论的角度给出的信息的定义，为将信息的研究纳入科学领域找到了适合工具。万事万物，只要存在着不确定性，就一定蕴含着信息，这是作为信息的客观存在，只与自身的不确定有关，不确定性又涉及到事物的方方面面。每一方面又以不同的不确定性存在，不确定性越大，自身所蕴含的信息量也越大。信息量可以由下式给出：

（1）式是自信息量的定义式，xi代表事物发生的某一状态，代表该状态发生的概率，由公式可知，事物某种状态发生的概率越大，它本身所能提供的信息量越小。

（2）式是（1）式加权平均的结果，它代表平均情况下事物每种状态能提供的信息量，被称为信息熵，q表示事物所具有的状态数。

3.2 通信系统的基本模型

为了说明信息这一抽象的概念，香农给出了信息主观获得的途径——通信系统的基本模型(如图1)。作为事物本质属性的信息是客观存在的，然而是抽象的，必须通过通信系统这一具体形式被人们所获得。

图1 通信系统的基本模型

消息作为信息的载体，是通信系统传递的具体形式。消息中包含着信息，得到消息，从而获得信息。信源是消息的源头，信源发出消息并不都是主动的行为，不能片面的和现实的通信系统等同，是抽象的通信系统模型。例如我们观察一朵花，花朵的颜色、香味都是不同形式的消息，并不因为是否被人观察而客观存在着。信道是消息传输的媒介。信宿是消息的接收者。干扰源是干扰的发出者，它影响着信宿对信息的获得，干扰也可分为客观和主观两类，客观的干扰包括气候、环境以及认识的技术水平；主观的干扰包括观察者的生理、心理状态以及自身的知识结构和认知能力。

3.3 信息的获得

信源、信道、信宿是信息获得的三个要素。香农将获得的信息量定义为信源不确定性的减少量，可以由下式给出：

（3）式中信源熵H(X)代表事物自身的信息量，刻画初始不确定度。H(X|Y)被称为损失熵，代表通信之后事物仍然保留的不确定度，它们的差值即被信宿所获得的信息量，损失熵也可理解为因为干扰的存在而没有获得的部分。理想状态下，损失熵为零，获得的信息量即是信源熵H(X)。

4 香农信息定义的不足

香农关于信息的定义在工程应用方面具有极高的指导价值，也能用来解释客观世界许多关于信息的形式，但仍然有自身的不足和片面性。用钟义信老师提出的“全信息”的概念来分析香农的信息定义，可以发现香农对于信息的定义多停留在语法信息的层面，即信息的内部结构，而不关心语义和语用信息。例如概率为的晴天的雨雪的天气状况和概率为的晴天，的雨雪的天气状况对人们生产生活的影响肯定是不同的，但根据香农信息定义两种情况下所具有的信息熵却是相同的。

5 结论

“信息”已经成为一个跨学科、跨领域、包罗范围广泛的概念。它可以表现为消息、情报、知识、编码、数据、信号等各种不同的具体形式，但任何一种具体的信息形式以及这些形式的总和，都不足以说明信息的本质。香农信息定义虽然也有其内在的片面性，但在工程应用方面仍然具有无法匹敌的价值。

[1]李国武．关于信息概念的研究评述[J]．重庆邮电大学学报（社会科学版），2012，24（1）：58-63

[2]朱月明．关于信息定义的讨论[J]．辽宁工程技术大学学报（社会科学版），2003，5（3）：4-6

[3] 周荫清.信息理论基础（第四版）[M].北京航空航天大学出版社,2012

[4] 钟义信．全信息理论：定义与测度[J]．北京邮电大学学报，1991，14（3）：1-14

陕西省教育厅自然科学基金项目：基于三维模型的计算机辅助考古绘图技术研究 15JK1247；渭南师范学院项目：特殊结构矩阵的快速算法研究（16YKS5）。