香农的贡献及其对后世的影响

转载一篇纪念香农的文章，此公是我人生中的灯塔。

香农的贡献及其对后世的影响

Claude E. Shannon: His Work and Impact

张卫国，高新波，蒋洪波

关键词：香农；信息论；密码学

香农（Claude Elwood Shannon）生于1916年，卒于2001年。今年是香农诞辰一百周年。为了纪念这位伟大数学家和信息论的创始人，我们以香农的生平为线索，介绍他不平凡的一生和他对世界的影响。

香农于1916年4月30日诞生于美国密歇根（Michigan）州皮托斯基（Petoskey）的盖洛德（Gaylord）小镇。孩童时代的香农性格比较内向，没有任何迹象能够表明他未来会是一位伟大的科学家。香农的父母在科学方面对香农似乎没有产生多大的影响，但香农的祖父是一位发明过许多农业机械和洗衣机的发明家，对香农在科学研究方面的影响比较深远。大发明家爱迪生（Thomas Alva Edison）是香农的远房亲戚，也是香农孩童时代的偶像。中学时代的香农兴趣爱好广泛，参加镇上的乐队，吹奏中音萨克斯号。那时的香农对各类机械装置非常感兴趣，对这些装置如何运转具有很强的好奇心。

1932年16岁的香农从盖洛德高中毕业，进入密歇根大学学习，并于1936年同时获得数学学士学位和电子工程学士学位。在数学和工程领域中的双重兴趣一直贯穿于他的整个职业生涯。

大学毕业后的香农在麻省理工学院（MIT）注意到公告栏上张贴的招聘操作微分分析仪助理研究员的广告。香农申请到这个职位，并在职攻读硕士学位。香农为什么申请这个职位呢？这源于他对布尔逻辑维持一生的兴趣。当时的微分分析仪其实是一种早期的模拟计算机，它通过上百个继电器组成的结点电路控制运算，可以求解高阶微分方程。香农在密歇根大学时，曾学过符号逻辑和布尔代数，这成为他后来研究二元系统的数学理论基础。

中国人早就注意到二元现象的普遍性，并发展出阴阳哲学体系。但遗憾的是，中国人从未用数学的观点去形式化描述二元现象，把对这一对象的认识模糊在玄学，而非精确在科学。这是值得我们当代国人思考的。

香农在计算机模拟和复杂开关电路控制这两方面的双重兴趣，使得他在开始探索布尔代数在开关电路中应用的可能性。这一了不起的工作始于1937年，香农在他的硕士学位论文“A Symbolic Analysis of Relay and Switching Circuits”（继电器和开关电路的符号分析）[1]中，科学严谨地论述了如何使用布尔代数对继电器电路进行分析和合成。1940年，24岁的香农因这一成果获得了Alfred Noble协会美国工程师奖。开关电路在后来的计算机和通信电子工程发展中发挥了极大的作用，现在人们普遍认为这项工作为数字电路领域奠定了基础。H. H. Goldstine后来称赞这一成果为“有史以来最重要的一篇硕士论文”、“把数字电路设计方式由艺术变为科学的里程碑”。当我们对香农创立的信息论津津乐道时，可能在香农心目中他硕士论文的工作才是他最得意的成果，他从中得到的乐趣超过其他任何事情。

香农完成这一工作后，他从电子工程系转到数学系开始攻读他的博士学位。1940年获得数学博士学位，他的博士学位论文的题目是“An Algebra for Theoretical Genetics”（理论遗传学的代数理论）[2]。很多人都不知道这篇论文中的内容具体是什么，都只是从题目猜测这篇论文是用数学的方式研究人类遗传学的。事实上，这篇论文至今都没有引起注意，一个原因是这篇论文直到1993年才被正式发表。另一个原因是，这是一篇遗传学家看不懂、数学家不去看的论文。

在攻读博士学位期间，香农除了继续研究开关理论，还进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表论文“Mathematical Theory of the Differential Analyzer”（微分分析器的数学理论）[3]。伴随着这些模拟计算机理论的发展，他还尝试去理解数字计算机如何来完成与此类似的计算任务。

香农于1941年开始在贝尔实验室数学部工作。香农是数学家，也是工程师。这一双重身份使他在看待工程问题时，总喜欢用数学的视角。香农对通信中基本问题的数学思考，使他成为信息论的开山鼻祖。

香农在攻读博士学位时，就对通信中的基本问题很感兴趣，并进行了初步研究。1940-1941年香农到普林斯顿普林斯顿高等研究院做研究员，这一期间香农开始认真研究他在通信方面尚不成熟的数学理论。

1941年夏天，战争即将来临，香农回到贝尔实验室，参加了专门研究火力控制系统的一个精英小组，设计观测敌机或导弹、计算防空导弹的瞄准目标的定向器，这种装置大大支援了英国抗击德国V1和V2火箭的能力。在闲暇时间，香农仍然致力于开关理论和通信的数学理论研究。

如果说开关理论是香农一生的兴趣所在，那么通信的数学理论就是香农一生中对世界最严肃的一次思考。由于他的这一贡献，人类历史发生了天翻地覆的改变，至今仍深刻影响着我们的世界。

从1940年算起，香农用了八年的时间，为通信系统建立了一整套数学理论。他的理论涉及到整个通信处理过程，这些处理对象包括，通信源头、数据压缩、信道编码、调制、信道噪声、解调、检错、纠错等。理论关注了最佳通信系统的性能以及如何才能接近该性能。终于在1948年，香农发表了“A Mathematics Theory of Communication”（通信的数学理论）一文，标志着信息论的诞生[4][5]。在这一具有划时代意义的论文中，香农提出熵（entropy）的概念，给出了可量化的信息的定义，推导出一系列精彩绝伦的定理。这篇论文至今还在指引启发着后人的研究工作，信息论在越来越多的领域大放异彩。

“熵”是信息论中最基本最重要的一个概念，香农最初想用“信息”（information）来表达这一概念，但这个词在当时已经被用滥了。后来，他决定用“不确定性”（uncertainty）来表达这个意思。但当香农和冯·诺依曼（John Von Neumann）讨论这个问题时，冯·诺依曼对香农建议说：“你应该把它称之为‘熵’。”并给出两个理由，一是“不确定性”这个概念已被用于统计力学，二是没有人知道“熵”到底是什么，不至引起争论。冯·诺依曼当然知道“熵”早已被用于热力系统，但那时“熵”仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释。正是“熵”引申到信息论后，其本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。1923年，德国科学家普朗克（Max Planck）来中国讲学时用到entropy这个词，由于entropy在表达形式上是两个量相除的商，著名物理学家胡刚复教授现场翻译时，把这个词翻译成“商”字加火旁来意译创造了“熵”字。冯·诺依曼比香农大13岁，是香农一生中最佩服的人之一。1957年，54岁的冯·诺依曼过早的去世。香农在《美国数学学会通信》上撰文纪念冯·诺依曼，讲述他在自动机理论方面的贡献[6]。

信息保密性和隐匿性的编码是香农信息论的重要内容之一。在二战期间，香农对密码术产生了极大的兴趣，他意识到对密码术根本性问题的研究与他当时正在研究的通信理论的思想密切相关。他的许多成果在语音加密装备中有着非常重要的应用，而该装备是罗斯福和丘吉尔在战争期间使用的主要通信工具。1945年，香农向贝尔实验室提交了一份机密文件，题目是“A Mathematical Theory of Cryptography”（密码术的数学理论）。这一成果在二战结束后的1949年以“Communication Theory of Secrecy Systems”（保密系统的通信理论）为题目正式发表[7]。这篇论文刚一发表，就引起轰动，香农也因此被聘为美国政府密码事务顾问。这篇论文为对称密码系统的研究建立了一套数学理论，从此密码术成为了密码学，由一门艺术成为一门真正的科学。香农曾在这篇论文中高屋建瓴地指出，好的密码系统的设计问题本质上是寻求一个困难问题的解，使得破译密码等价于解某个已知数学难题。这句话含义深刻，受此思想启发，Diffie和Hellman于1976年在IEEE Transactions on Information Theory上发表论文“New Direction of Cryptography”（密码学的新方向）[8]。这篇重要论文的发表标志着公钥密码学的诞生，Diffie和Hellman也因此在2016年获得图灵奖。

香农对世界的贡献不止是开关理论和信息论，他在图灵机理论和人工智能等领域也有先驱性的工作。

二战前，香农已经开始对可计算性以及图灵机的问题产生浓厚的兴趣。在二战期间他和图灵（Alan Turing）就这些问题进行了多次有趣的讨论。香农给出如何通过两个内部状态构造一个图灵机的方法[9]。这篇出色的论文为图灵机理论的引入打开了一扇大门，具有极为重要的意义。

香农比图灵小四岁，这两位科学巨人是人类文明史上的旷世奇才。实际上，香农在他硕士论文的工作已经奠定了计算机的硬件基础。而图灵也在同一时期发表可程式化的通用型计算机概念，两人的研究像是先知的箴言，指示后人如何进行计算机革命。二战期间，他们二人也都是负责通信加解密的工作，因而有机会见面交流。由于特殊的政治原因，尽管两人都是密码学天才，他们在一起讨论最多的不是密码学，而是人工智能。

1949年，香农发表了“Programming a Computer for Playing Chess, ”（编程实现计算机下棋）[10]，这是人工智能的一个先驱工作。1965年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师Mikhail Botvinnik，他们一起对弈和讨论了计算机编程下棋。1980年香农还作为特邀贵宾参加了在奥地利的国际计算机象棋冠军赛，贝尔实验室的“Belle”获得了冠军，已接近象棋大师水平。1997年IBM造出了“深蓝”计算机，装入了Chatterbot ALICE计算机程序，并战胜了俄国国际象棋大师和世界冠军Garry Kasparov。这是人类第一次用自己制造的机器在智能上（更确切地说是在下国际象棋的能力上）战胜了自己。由Google旗下DeepMind公司设计的AlphaGo是一款围棋人工智能程序，2015年10月AlphaGo以5:0完胜欧洲围棋冠军、职业二段选手樊麾；2016年3月对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜。这一事件，把世人对人工智能的关注又一次推向高潮。早在1950年香农就发明了会自我学习走迷宫的机械老鼠“Theseus”，成为第一台人工智能装置的雏形。1951年他发表了论文“Presentation of a Maze Solving Machine”（一个走迷宫机器的介绍）[11]，这是一篇计算机学习的先驱著作。1953年香农曾设计了“心灵阅读（Mind Reading）”机[12]，可通过观察、记忆和分析对方过去所做选择的样本，试图猜测对方下一次可能选择。1961年的一天，香农和他在MIT的同事数学家Edward Thorp去斯维加斯赌博，偷偷携带了世界上第一台“便携式计算机”，这个装置可以在转盘小球刚开始转动的时候根据小球运动发现出转盘的偏差，计算出小球落到某些格子的概率可能会更大。回顾人工智能发展的历史，我们不得不说香农做了开拓性的贡献。

1954年，香农和摩尔（Edward Moore）合作对于不可靠组件的计算进行了理论研究[13]。冯·诺依曼曾对此问题进行过更早期的探讨，但没有任何可观的成果。香农和摩尔利用增加接点的冗余度来提高继电器电路可靠性，这个结果具有重要的理论意义，它与有扰信道传信问题密切相关。1959年，香农发表论文“Coding Theorems for a Discrete Source with Fidelity Criterion”（保真度准则下离散源的编码定理）[14]创建了率失真理论，在连续消息和离散消息之间架上了一座桥梁，从而给信号数字化提供了一个基础和有效的工具。1960年香农发表论文“Two-way Communication Channel”（双向通信信道）[15]，创建了多用户信息论。香农还曾提出将信息论用在生物系统，在他看来，机器和生物是有共性的。当你问他机器是否能思考时，他会回答说，我是一个机器，你是一个机器，我们都能思考，对吗？

香农还做过将信息论用于最佳投资策略问题的研究，他认为股票市场是一种“受扰信号”，与时间序列相关联。问题是要通过适当选择和调整证卷投资组合，使效用函数达到极大值。他提出了一些关于投资增长率的理论，但没有发表，然而，他曾经在麻省理工学院开展了一个关于投资理论的研讨会，当时吸引了成百上千的听众。香农并不是纸上谈兵，他还实际投资了普通市场，并赚了不少钱。他的朋友们听从他的建议，也赚了很多钱。    

香农是一个兴趣驱动型的研究者，他不是太关心个人研究成果的商业价值，甚至并不关心成果是否有用。用他自己的话说就是，“我在完全无用的事情上花了大量的时间”。香农对自己的工作是否能得到别人的认可从不感兴趣，他的很多结果都没有公开发表。尽管这样，后人最终还是发现他一共发表了至少125篇论文[16]。

   香农酷爱杂耍，他制造过几台杂耍机。人们经常看到他一边骑着独轮车，一边用四个球玩着杂耍，穿行在贝尔实验室的大厅里。他竟然还提出一个杂耍统一场论：用B代表球的数量，H代表手的数量，D表示球在手中度过的时间，F则代表着每个球的飞行时间，E代表每只手不拿球的时间，那么B/H=(D+F)/(D+E)。该理论并不能帮助香农同时扔四个以上的球，他非常严肃地辩解说这是因为他的手比较小的缘故。他有一个专门盛放自己玩具的房间，在这个房间最显眼的位置摆放着一个装裱好的名为“杂耍学博士”的证书，他看起来非常自豪获得了这个证书。  

   1985 年，从不抛头露面的香农羞涩地出现在英国布莱顿举办的IEEE 信息论会议上。会议中途人们才发现他，很多人都以为香农已不在人世。瞬间会场沸腾起来，大会主席说服香农给参会者致辞。香农讲了几分钟，可能是怕听众听得不耐烦，他竟然从口袋里拿出三个小球，玩起了杂耍。观众们彻底疯狂了，排起长队索要签名。 Robert J. McEliece回忆起当时的情景时说，“就好像牛顿出现在了物理学会议”。

在20世纪80年代，香农的记忆力衰退得越来越厉害，后来他甚至患上了阿尔兹海默症。他在一个私立医院里度过了晚年，逝于2001年2月24日。著名信息论和编码学家Richard Blahut 在香农塑像落成典礼上这样评价他：“在我看来，两三百年之后，当人们回过头来看我们的时候，他们可能不会记得谁曾是美国的总统，可能也不会记得谁曾是影星或摇滚歌星，但是人们仍然会知晓香农的名字，大学里仍然会教授信息论。”这是一句颇具情怀的赞美。

香农创建的信息论影响了世界，也影响了中国。信息论在西安电子科技大学（以下简称西电）的发展历程，可以看作是信息论在中国传播发展的缩影。作为见证人，西电信息论专家王育民教授在他的回忆录《信息论专业发展的几个片段》中有较为翔实的纪录[17]。由于特殊的时代背景和环境，信息论自创立历经十年才开始在中国传播。西电是国内最早（1959年）建立信息论专业的高等院校，在老一辈陈太一院士和胡征教授带领下，肖国镇、梁传甲、王育民、王新梅、汪漱玉等一批学者，创建了我国第一个信息论专业。他们团结友爱，崇尚自由的学术环境，形成了一个享有国际声望的学术团队，为中国培养了一大批信息论人才。密码学扎根于信息论，是西电信息论发展过程中最具特色和影响的一个学科方向。在肖国镇、王育民、王新梅等老一辈密码学专家带领下自上世纪八十年代以来产生了诸如“肖-Massey定理”[18]、“流密码的稳定性理论”[19]、“Xinmei数字签名体制”[20]、“弹性密码函数的设计”[21-25]、“GGH密码算法破译”[26]等一系列具有国际影响力的原创性成果。作者所属的综合业务网理论与关键技术（ISN）国家重点实验室就是在这种信息论环境背景下孕育发展起来的一个科学研究和人才培养基地。可以说香农的精神在西电鼓舞了三代西电人，就连作者本人也一直受到这种精神激励。2016年4月22日，ISN重点实验室举行了纪念香农百年诞辰座谈会，高度评价了香农的历史功绩，回顾了西电信息论的发展历程，是非常有意义的一次纪念活动。

纵观香农的一生，他的成功与贝尔实验室所提供的优良环境是分不开的，可以说贝尔实验室是信息科学和技术的摇篮，贝尔既孕育了信息化社会的思想基础——信息论，也孕育了信息化社会的物质基础——晶体管和集成电路。香农在贝尔实验室工作的15年间（1941-1956），贝尔实验室聚集了许多一流的数学家和科学家，如卫星通信专家J. Pierce、信号理论家H. Nyquist、网络反馈专家H. Bode、晶体管发明人W. Brattain, J. Bardeenh和W. Shockley、早期用继电器构建计算机的G. Herdrik、杰出工程师B. Oliver等。香农在这种环境中创建了信息论、现代密码理论以及人工智能等方面的先驱工作。香农说：“在贝尔实验室每一个人都很自由，可以按你的想法做你想做的事，他们不会对你说你要做这个做那个，至少没人对我这样说过。不仅如此，我所在的部门数学研究组的所有人都很聪明和能干，我和他们有很多交往，这是一个非常好的场所。如果我是在其他公司，就要更多地专注于特定的目标，我就不可能像在贝尔那样自由自在地工作。我想我若在大学里也能做出类似的工作，因为大多数大学的研究是完全自由的，如MIT。”

确实如香农所言，在MIT成长了像Robert G. Gallager、 Elwyn R. Berlekamp这样的信息论和编码理论大师，也诞生了像Ivan Sutherland这样的计算机图形学之父和虚拟现实之父。在Ivan Sutherland的博士学位论文答辩时，答辩委员会里除了有香农，还有Marvin Minsky。后者被誉为“人工智能之父”、虚拟现实先驱，同时他也是图灵奖获得者。就连Ivan Sutherland本人也在1988年获得图灵奖。二战后，美国凭借如此优质的学术环境和先进文化，诞生了一大批世界一流的科学家，同时也造就了美国的强大。

西电肖国镇教授在一次访谈中也提到：“良好的学术环境对大学的发展很重要”[27]。生存的法则是“适者生存”，而不是“优者生存”。恶劣的学术环境必然会导致优秀科研人才的“逆淘汰”。

著名信息论专家Robert G. Gallager 2001年在IEEE Transactions on Information Theory上撰文纪念香农[28]，他在文中也不无忧虑地感叹：“如今香农型的研究者无论是在工业界还是在学术界都不受待见，这是一个危险的信号。”

纪念是为了传承，纪念是为了反思。在本文的最后，我们想提出这样一个问题：“在急功近利的今天，在简单粗暴的科研评价体系下，香农型的学者会在中国诞生，并得以成长和成才吗？”