香农：信息技术的鼻祖

2016年4月30日是Claude Elwood Shannon（克劳德·艾尔伍德·香农）的100岁生日，他以数学为基础研究信息论，现代计算机使用了他的比特和字节的定义。

事实上，Claude Elwood Shannon（香农）没有英国数学家Alan Turing（阿兰·图灵）和德国工程师Konrad Zuse（克兰德·楚泽）在自然科学方面著名，美国人香农是麻省理工学院的一名数学教授，当时他比较孤僻，他喜欢一个人钻进一间屋子里钻研电子修理，然而这对他的灵感产生了极其深远的影响。他最重要的论文是“A Mathematical Theory of Communication（通信的数学理论）”，该论文发表在1948年。在这篇论文中，香农把通信的数学理论建立在概率论的基础上，把通信的基本问题归结为通信的一方能以一定的概率复现另一方发出的消息，并针对这一基本问题对信息作了定量描述。

令人惊奇的是，他的基本信息规则体系与热力学规则有很大的相似性，即熵的概念。熵（entropy）指的是体系的混乱程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。在19世纪，奥地利物理学家Ludwig Boltzmann（路德维希·玻尔兹曼）已经将熵定义为一种条件概率的度量方法，气体遍布整个可用空间的可能性更高，也就是具有更高的熵。另一方面，香农第一次将熵的概念引入到他的信息论中来，在他的通信数学模型中提出信息的度量问题，他得到了著名的计算信息熵的公式，计算出来的信息熵就以比特（bit）为单位。

比特是常用的一个信息量的度量单位，为信息量的最小单位，这也可以追溯到香农的定义。比特数越高，信息量越大。如果一个信息块具有多出的比特数，那么它就包含了一定数量的冗余，这引出了计算机领域中的一个应用，即冗余校验，冗余校验主要用来检测或校验数据传输或者保存在DVD上的数据可能出现的错误。

香农还在他熟悉的信息相关领域做了很多其他方面的基础工作，并在数字技术领域开展了很多类似的工作——当然也有另外的一些专家在为此做出努力。因此，计算机技术在20世纪50年代得以迅速发展。