开启数字信息时代的香农

王善平

香农发现了布尔代数与开关电路的等价性，为制造数字式电子计算机奠定技术基础；他创立的信息论，揭示了信息与熵之间的深刻联系，并开启令人眼花缭乱的数字化信息时代：他在密码学领域也做出了开创性的贡献。家庭背景与早期生活

香农（Claude Elwood Shannon，1916年4月30日-2001年2月24日）出生在美国密歇根州的佩托斯基（Petoskey）镇，但在附近的盖洛德（Gaylord）镇上长大。香农的祖父是农民，也是发明家，发明了洗衣机和不少农具；父亲是商人，也做过盖洛德小镇上的法官，虽然不是数学家，但懂得不少数学。母亲是德国移民的女儿，在镇上一所中学里做语文教师，还当了几年校长。香农有一个比他大4岁的姐姐，是密歇根大学数学系的硕士，后来成为某学院的数学教师。香农小时候喜欢机械和电子，制作过模型飞机和遥控小船，甚至做了一套能工作的收发报机。他还喜欢解姐姐给他做的各种数学题，他在学校里成绩最好的科目是理科和数学。读书空余时间，他靠送电报和修收音机赚零花钱。

1932年从母亲的中学毕业后，香农考进姐姐曾就读的密歇根大学，4年后取得电气工程和数学双学士学位。1936年，他来到麻省理工学院（MIT），在电气工程系做助理研究员，同时跟随布什（VannevarBush，1890-1974）教授攻读学位。

布什被认为是美国最杰出的科学家和工程师之一。他不仅具有非凡的科技创造能力和远见卓识，还有着极高的组织才能和领导才能。第二次世界大战期间，他被罗斯福总统任命为科学研究和开发局局长，领导组织约6万名一流科学家致力于把科学用于战争，其巾包括提出和执行了导致原子弹试验成功并在Ll本投放的“曼哈顿计划”。他也曾指导过MIT中国留学生李郁荣（Yuk-Wing Lee，1904-1989），并于1929年把李郁荣介绍给数学家维纳（Norbert Wiener，1894-1964）合作研究电路网络，导致维纳后来创立了控制论。

为制造数字式计算机奠定技术基础

香农在一开始跟着布什研制模拟式计算机，随后被送到数学系学习。两年后，他以论文“继电器与开关电路的符号分析”获电气工程硕士学位。这篇革命性论文获得由美国各工程学会联合资助并由土木工程师学会颁发的著名的“艾尔弗雷德·诺布尔奖”（Alfred Noble Prize）；有人称赞它“可能是20世纪最重要和最出名的硕士论文”。

香农在论文中首次证明了，“布尔代数”中关于“真值函数”（即只取“真”或“假”两值之一的函数）的“与”“或”“非”逻辑运算，与只有“0”和“1”两个数字符号的“二进制数”算术运算等价；而且.可以用布尔代数中的“真”“假”值或二进制数中的“0”“1”数字，来表示继电器或电路的“开”“关”状态；反过来，也可以用后者的开关状态来表示真值函数或二进制数。根据这一结果，他成功地运用布尔代数和二进制数运算的方法简化了继电器和开关电路系统的设计。他还指出，也可以反过来，用继电器和开关电路系统来解决布尔代数或二进制数运算问题。香农的这些工作开创了一个叫做“数字电路”（也叫“逻辑电路”或“开关电路”）的新电子技术领域。该领域是将来设计各种自动控制系统和制造数字式电子计算机的技术基础。

创立信息论

鉴于香农在其硕士论文中运用数学方法解决电路问题取得成功，布什建议他去以研究生命科学著称的冷泉港实验室（Cold Spring Harbor Laboratory），用类似的数学方法来研究孟德尔遗传学。1940年，香农以题为“理论遗传学代数”的论文获得MIT数学博士的学位。他在论文中试图建立一种描述生物染色体上基因排列和遗传规律的代数方法。

从MIT毕业后，香农随即以数学研究员（research mathematician）的身份加入著名的贝尔实验室。不久，他获得国家研究奖学金，来到普林斯顿高等研究院进修一年；他的指导老师是来自德国的数学家外尔（Hermann Weyl，1885-1955），而实际上他受来自匈牙利的数学家冯·诺伊曼（John yon Neumann，1903-1957）的影响更大；在此期间，他与爱因斯坦（Albert Einstein，1879-1955）和哥德尔（Kurt Friedrich G6del，1906-1978）也有交往。这种自由自在地在跨学科领域与科学大师们交流，对于培养他用数学解决实际问题的能力起了很大的作用。

在二次世界大战期间，香农为美国军方设计火炮控制系统和研究密码学。这两类工作均涉及数据或信息的传送、转换、破解、分析和利用，这方面的研究帮助香农形成了他的革命性思想。

1948年，香农发表了划时代的论文——“通信数学理论”。该文的主题是要用数学方法确定通信线路的信息带宽和所传输信号的信息量，以保证所设计的线路能够在排除噪声干扰的同时顺利地传输有关信号。为此，香农给出了两个重要的定义：信息的基本单位和信息熵。

信息的基本单位是二进制数的位，称为比特（bit）；如果一条通信线路能在每秒传送Ⅳ位二进制数，则该线路的通信带宽就是每秒N比特。其中bit取自英文“二进制数位”（binary digit）的缩写。香农指出，任何一个具有两种状态的事物——比如说继电器或开关电路——正好能够储存1比特信息。

香农指出，信息熵刻画了这些可能事件的不确定程度：当其中有一件是确定性事件（即发生概率为1），则其他都是不可能事件（发生概率为0），此时的熵值最小，等于0；当这些事件发生的概率相等（即都为1/n），则此时的熵值最大，等于logn。所以在等概率可能事件的情况下，其不确定程度最大；并且可能的选择越多（即n越大），则不确定性越大。香农进一步指出，信息熵与统计力学中的热学熵之间有联系。

香农利用以上所给出的定义，成功地解决了有关线路带宽、信号传送和噪声干扰之间关系的一系列问题，由此奠定了现代通信理论基础。

然而，他引进的这些概念所带来的影响远远不止于此。信息熵很好地解释了热力学第二定律和麦克斯韦小妖。

19世纪德国物理学家克劳修斯（Rudolph Clausius，1822-1888）和英国物理学家开尔文（Lord Kelvin，1824-1907）所发现的热力学第二定律告诉我们：一个封闭的热学系统总是随着时间的增长而趋向于一个温度处处相等的平衡状态。或等价地说，热不可能自发地从低温传到高温。热力学第二定律解释了，为什么宇宙时间不可逆转：比如说，茶杯里的水不会自行升温而沸腾；生命的历程不可能从老到幼逆向进行；人类社会也不会倒退回去而使古人复活，等等。

热力学第二定律可以用数学语言准确地描述：一个封闭的热学系统的熵总是随着时间的增长而增加，直到取得最大值，此时系统处于热平衡状态。这里的“熵”是一个关于系统热量和温度分布的函数。

统计力学的理论和实验证实，气体的温度是由于气体内所包含大量分子的运动而产生的结果。事实上，气体温度与气体分子的平均动能（或平均速度平方）成正比。而熵则反映了气体分子运动的无序性，也就是分子的运动速度与分子所处位置的无关性。香农的“信息熵”提出之后，人们进一步认识到，分子运动的“无序性”其实是一种“不确定性”。因此，“热学熵”与“信息熵”在某种意义上等价。于是“熵”把两门看上去完全不同的学科联系起来。

创立了现代电磁场理论的英国人麦克斯韦（James Clerk Maxwell，1831-1879）对于统计力学也有重要贡献。他于1871年提出了一个挑战热力学第二定律的“理想实验”：一个容器被分隔成A和B两部分，其中A充满了处于平衡状态的运动分子，B暂时为空；A，B之间有一个小孔连接，小孔边守卫着一个能够观察到分子运动速度的“小妖”，它只允许A中速度较快的分子穿过小孔进入B。

如果确实有这样的“小妖”在起作用，那么，A部分的气体温度将会逐渐降低，而B部分的气体温度则逐渐升高：处于热平衡状态的分子系统就会产生不平衡，系统的“熵”就会减小。热力学第二定律看来要失效。

然而，运用香农提出的“信息熵”概念，能够合理地解释以上的“实验”：由于“小妖”提供了关于分子运动的额外信息，这使得系统分子运动分布的“不确定性”降低，也使得系统的“无序性”减少。也就是说，有没有“小妖”的系统是两个“熵值”不同的系统。而热力学第二定律只能适用于一个封闭系统。

香农把信息量与二进制数的“位”联系起来，这启发了人们把各种信息转化成二进制数的形式。数字化信息给世界带来奇妙的变化，各种文字、图像、声音和影视信息先后被转化成一串串二进制数；它们被储存在光电磁介质中，然后由功能强大的计算机处理，并通过四通八达的通信网络传送；结果给我们的世界带来种种奇妙的变化。

如今，数字化信息使得人们能够用计算机写文章，坐在家中方便地通过网络查找并浏览所需要的各种文献、资料和信息，下载或在线欣赏无数的音乐、歌曲、电影和电视节目。

数字化信息提供了新的丰富多彩的人际交流方式：电子邮件、博客、微博、微信，等等。人类从来没有能够像今天这样，可以跨越时空界限，无拘无束地同那么多认识或不认识的人开展交流，自由自在地在网络上展现自我。

数字化信息为我们提供了新奇的产品：数字电视、数码相机、移动电话、数码音乐、卡拉OK，等等。

数字化信息还带来了学习、工作和生活方式的变化：人们已经可以实现远程教育、网上办公、远程诊断、电子商务、网上购物，等等。

数字化也带来了全新的观念：大家开始谈论数字图书馆、数字化城市、数字化地球、数字化经济、数字化生存、大数据……

数字化信息时代已经给我们带来那么多梦幻般的变化，并且还在继续制造更多神奇。而所有这一切，都源自香农那篇划时代的论文。

“敌人了解我们的密码系统”

香农在二次大战期间研究密码学也成就卓著。在他的指导下研制的密码设备被用于美国总统罗斯福和英国首相丘吉尔的跨洋通信。1943年，英国的头号密码专家、数学家图灵（Alan Turing，1912-1954）应美国军方邀请前来考察。他去了贝尔实验室，与香农见面并交流。香农对图灵在1936年写的关于通用计算机的论文留下了深刻印象。可惜这两位传奇人物没有产生有意义的进一步合作。

1946年，香农写下另一篇开创性论文“保密系统的通信理论”。该文直到1949年才被解密公开发表。香农在文章的开头就指出：“密码学和保密系统的问题为通信理论提供了有趣的应用。”他接着分析道：“一般来讲，有三种类型的保密系统：（1）隐藏的系统，如用隐显墨水写信，信文本身被隐藏起来，敌人看不见；（2）私密系统，如用特殊装置改变通话者的语言频率，此时只有用同样的装置把通信信号的频率还原，才能听懂讲话的内容；（3）‘真实的保密系统，即用密码来隐藏信文的内容，信文本身不隐藏，敌人也拥有截获和记录传输信文的特别装置。”

香农认为：隐藏系统属于心理学领域，私密系统属于技术领域，而只有“真实的”保密系统才属于密码学领域。香农的观点后来被密码学界归结为“香农格言”（Shannons maxim）：“敌人了解我们的密码系统”（The enemy knows the system）。这一格言已成为现代密码学研究的出发点：即假设密码系统的结构以及所传输的信文是公开的，敌我双方都知道；而密码学的主要任务集中在研究用于信文加密和解密的密钥。

香农接着运用他所创立的通信数学理论，对在信道中以信文的形式传输的信息进行加密和解密的过程做了全面系统的分析。特别是他证明了，只有那种“一次性密钥”（即每个密钥只使用一次）的密码系统才是完全不可破解的。他的工作使得密码学首次从一种艺术性学问转变为一门严格的科学。

婚姻与后期工作

1949年3月29日，香农与穆尔（Mary Elizabeth Moore）结婚。穆尔也有数学专业研究生的学历，原来是贝尔实验室微波研究室的技术助理。他们育有两个儿子和一个女儿。

香农生性好动，年轻时学过体操，喜欢练习抛球杂耍。那年圣诞节，新婚妻子送给香农一辆独轮车作为礼物。他从此经常骑着它在贝尔实验室大楼的过道里来回走动，像杂技演员般手里玩着抛球杂耍。这成为贝尔实验室的一景。

由于电子通信技术和计算机科学的飞速发展，香农所创立的信息论成为一门显学。人们开始用信息来解释和解决几乎所有领域中的问题。香农也成了社会名人，不断被采访和报道。香农对此十分反感。1956年，他在杂志上说：“信息论被大大超卖了（greatly oversold）。”“它被吹捧的程度远远超过其实际重要性。”他本人开始逐步退出信息论的研究，改为研究人工智能，并取得一些成果。比如说，他制作了一个神奇的电子鼠，它能够自己学会如何从迷宫中走出来；他还设计了.一个计算机下棋程序，被认为是该领域的一项突破性工作。

事实上，香农从未利用他在信息论领域的研究成果和巨大声望来发财。他后来赚了不少钱，主要是通过成功投资那些新兴科技公司而获得丰厚的回报。

1956年，香农被聘为MIT的教授，但仍在贝尔实验室兼职。1972年，香农从长期工作的贝尔实验室退休；1978年，又从MIT退休。2001年，香农因患阿尔兹海默症而辞世。

因为创立了信息论，香农被誉为“20世纪最伟大的科学家之一”。他获得了无数的奖项，其中包括1966年获美国国家科学奖章和1978年获日本京都奖。他同时是多家著名学术团体的会员。