1.信息論的基礎工作
1687年7月5日，牛頓的《自然哲學的數(shù)學原理》首次出版發(fā)表，點燃了整個學術界，奠定了他在世界上的地位。 這本書還確立了現(xiàn)代科學的范式。
1948年，香農(nóng)發(fā)表了一篇英文論文20世紀的物理學家，題為“A of”，翻譯過來就是“通信的數(shù)學原理”。 這篇論文引起了巨大的轟動。 要知道一篇專業(yè)學術論文被引用1000次是非常了不起的，而香農(nóng)的文章至今被引用也達到了1000次，可見其在學術界的地位。
幾年后，這篇論文將以書的形式出版，并更名為《The of》，翻譯過來就是《通信的數(shù)學原理》。 這意味著它已經(jīng)被認為是信息論的基礎，就像《自然哲學的數(shù)學原理》在物理學世界中的作用一樣，香農(nóng)之于信息論就像牛頓之于物理學一樣。 那么這個香農(nóng)是誰呢？
今天我們來聊聊：香農(nóng)和他的《通信的數(shù)學原理》。
2、震驚世界
克勞德·埃爾伍德·香農(nóng) ( ) 1916 年出生于密歇根州蓋洛德。當時，電氣時代蓬勃發(fā)展，電報十分發(fā)達。 然而，電話尚未普及，而且價格相對昂貴。 于是，很多人把牧場的鐵絲網(wǎng)互相連接起來，并安裝了自己的電話麥克風，以實現(xiàn)小范圍內(nèi)的通訊。
香農(nóng)就是在這樣的氛圍中長大的。 他從小就喜歡發(fā)明和玩耍，尤其是玩機械裝置。 他特別喜歡摩爾編碼，經(jīng)常使用編碼來發(fā)送消息。 后來，16歲那年，他進入密歇根大學學習電氣工程和數(shù)學。 1936年，20歲的香農(nóng)來到麻省理工學院擔任研究助理，跟隨時任工程院院長萬尼瓦爾·布什。
當時，香農(nóng)的主要工作是操作一臺重達數(shù)百噸的機器，稱為微分分析機。
在每天繁雜的工作中，香農(nóng)發(fā)現(xiàn)：
機器中開關的切換本質(zhì)上不是傳遞電流，而是傳遞狀態(tài)。
換句話說，也可以理解為傳遞一個事實或者一條信息。
具體來說，當時的差分分析引擎的控制器一共有兩個開關，一個是普通開關，另一個是稱為繼電器的特殊開關。 這是一個直接用電控制的開關。 那么這個繼電器有什么用呢？
香農(nóng)發(fā)現(xiàn)，繼電器從一個電路傳遞到下一個電路的并不是實際的電流，而是電路閉合或斷開的事實。
于是，他開始思考是否任何電路都可以用一組表達式來表示。 他的表達式中只需要兩個數(shù)字：0和1。
0代表開路，1代表閉路。
然后，他開始推演，從最簡單的開始，先分析一下有兩個開關的電路。 如果是串聯(lián)電路，可以對應：邏輯連接詞“與”，如果是并聯(lián)電路，可以對應：邏輯連接詞“”或者，當然，他還衍生出很多更復雜的情況，比如如：“如果...則...”以及“星形”和“網(wǎng)狀”網(wǎng)絡。
此外，他還設計了一種基于二進制的邏輯電路，僅依靠繼電器和開關就可以實現(xiàn)兩個數(shù)字的和。 于是，他發(fā)表了碩士論文《A的接力與》。 可以說是一戰(zhàn)成名。 這篇文章實際上是未來計算機革命的核心。 它被譽為20世紀最重要的論文之一。 香農(nóng)之所以能做到這一點，其實是基于兩點：模塊化和等價性，這后來成為現(xiàn)代計算機設計的兩個核心思想。 事實上，模塊化可以理解為將復雜問題簡單化的過程。 香農(nóng)發(fā)現(xiàn)任何復雜的問題都可以無限拆分。 例如：要實現(xiàn)微積分運算，我們可以將這種復雜的計算分解為幾次加減乘除，然后分解為更簡單的邏輯運算。
其次，模塊化的前提是對等。 我們可以這樣理解：
即使是最復雜的計算機也共享一組邏輯運算。 也就是說，任何一臺計算機都可以相當于很多加減乘除運算，也就相當于很多邏輯運算。
這里補充一下，很多人可能不太明白為什么二進制可以實現(xiàn)這些操作。 這實際上與摩爾斯電碼相同。
我們經(jīng)常在電影中看到人們敲擊機器，用“·”和“-”來代表信息，遠方的人都知道具體含義。 這是因為他們有一個比較表。 通過這樣的對比，他們就能知道對方說了什么。
我們其實可以想象一座古老的烽火臺。 在古代，預示敵人到來的不是吼叫聲，而是烽火。 “敵人來了”=“信標開火”，實現(xiàn)了一個編碼過程。
二進制系統(tǒng)也是同樣的原理，只是用二次系統(tǒng)代替了風火系統(tǒng)20世紀的物理學家，然后通過匯編語言實現(xiàn)編碼。
3.信息論之父
我們來談談香農(nóng)吧。 二進制邏輯電路其實已經(jīng)足以讓香農(nóng)在史冊上大放異彩，但他們并沒有放棄繼續(xù)科學研究的想法。 后來他將自己的研究應用到遺傳學上，寫了一篇文章《理論遺傳學的代數(shù)》，可惜后來這篇論文沒有發(fā)表。
博士畢業(yè)后，香農(nóng)來到著名的普林斯頓高等研究院，成為一名研究員。 這里的科學家都是科學史上的大神，比如愛因斯坦、馮·諾依曼。
在與許多偉大科學家交流的過程中，香農(nóng)構建信息論的想法逐漸成型。 你可能想問為什么我們要建立一套信息論？ 這要從言語開始。 在文字出現(xiàn)之前，我們用事實和積累的經(jīng)驗來描述生活。 例如：如果老虎來了，就逃跑。 后來文字出現(xiàn)后，我們就可以用文字來描述它了。 但問題來了。 言語需要思考和審視。 越來越多的人發(fā)現(xiàn)言語中的悖論，例如：白馬不是馬。 隨后，科學家開始使用數(shù)字和幾何來量化自然。 這方面的先驅是牛頓。
他認為，構建理論體系，首先要對研究對象進行界定和量化。 在他之前，“力”、“質(zhì)量”、“運動”甚至“時間”都具有模糊的含義。 牛頓改變了這一切。 他用數(shù)學語言，即數(shù)字和幾何，準確地定義和量化了研究對象。 如果你有機會讀《自然哲學數(shù)學原理》，你會發(fā)現(xiàn)牛頓一開始并沒有講牛頓三定律，而是在前20頁中對它們進行了定義。
因此，牛頓的偉大不僅在于他的三大定律和萬有引力定律，更在于他建立了現(xiàn)代科學的研究范式。 麥克斯韋將數(shù)學引入電磁學，最終成為電磁學大師。 愛因斯坦最終打破了牛頓體系，利用黎曼幾何構造了廣義相對論。 他們所做的一切都是在物理層面上。
我們都知道世界是由物質(zhì)、能量和信息組成的。 以牛頓為首的物理學家成功地將物質(zhì)和能量科學化，但信息論尚未科學化。 香農(nóng)打破了僵局。 他對信息做出了嚴格的定義，還提出了信息論三大定律，后人稱之為香農(nóng)定律。 那么香農(nóng)定律是怎么說的呢？
4、信息的本質(zhì)是不確定性嗎？
事實上，量化信息，或者衡量一條信息所包含的信息量是相當困難的。 每次讀到香農(nóng)定律，我都有一種不可思議的感覺。 因為香農(nóng)的見解是如此違反直覺，卻又如此符合20世紀科學發(fā)展的基調(diào)。他認為
某事物的信息內(nèi)容取決于它克服了多少不確定性。
這句話怎么理解呢？
為了幫助你理解，讓我給你舉一個生活中很常見的例子。 我們大多數(shù)人都過著非常規(guī)律的生活，就像我一樣。 每天兩點就到一線物理資源網(wǎng)，準時上班，準時下班，要么在公司，要么在家里。 即使我不告訴你我在哪里。 正如您可能猜到的那樣，這只是選擇兩者之一的問題。 所以，我告訴你的信息其實意義不大，因為我的位置信息對你來說不確定性很小。
但如果有一個人每天出差到世界各地，他的位置信息對你來說是一種不確定性，那么信息量就很大了。
可能你還是不太明白，我們再舉兩個例子：
很多人都喜歡看電影，尤其是最近特別火的復仇者聯(lián)盟4。 為此，很多人都會在凌晨0點去看第一部電影。 為什么是這樣？
從第二天的走勢來看，如果不盡快去電影院觀看，肯定會被寵壞。 所以，你可以思考一下這個過程。 其實復仇者聯(lián)盟4的劇情對于你來說是非常不確定的。 而當你已經(jīng)被寵壞的時候，你已經(jīng)知道了劇情的走向，不確定性就減少了。 這個時候還是復聯(lián)4這部電影，所以你看的時候就不會那么著急了。
這也是最近幾年很多人喜歡看無限反轉劇的原因，因為過去有很多劇是看了開頭就能猜到結局的，不確定性很低。 然而，無限反轉劇，每次都能給你驚喜，信息量巨大。
因此，香農(nóng)認為
某事物的信息內(nèi)容取決于它克服了多少不確定性。
但話雖如此，我們常常感嘆：信息量真大。 其實你覺得信息很多，因為你看到的信息對你來說是非常不確定的，所以你才會有這樣的感覺。 如果整篇文章都是1+1=2這樣的計算公式，你可能根本感覺不到信息量。
剛才我們也提到，要提出一套信息論，實際上需要把信息和數(shù)學結合起來。 因此，為了量化信息，他提出了兩個概念：信息熵和比特。 信息熵實際上借用了物理學中“熵”的概念。 物理學中的“熵”主要指一個系統(tǒng)的混亂程度。 我們之前說過，信息量取決于不確定性。 是不是和混沌程度差不多？ 因此，香農(nóng)相當于借用了“熵”的概念。 信息熵的實際描述是：
消息中出現(xiàn)的所有字符都經(jīng)過加權和平均。
公式如下。 其實只是初中水平的計算。 只要理解它就可以了。
其單位為：位。
因此，如果一定要用一句話概括信息熵：
選擇范圍越廣，可選擇的信息就越多。
這實際上是香農(nóng)第一定律。
5.克服噪音的方法：增加冗余
當然，香農(nóng)的見解超越了“信息熵”。 他提出了一種溝通模式。
在這個模型中，噪聲不能被忽略。 為了解決長距離通信中的信息失效問題，工程師只能一次又一次地放大信號，但這只會導致噪聲逐漸積累，但噪聲卻永遠無法消除。
香農(nóng)想出了一個減少噪音的方法：添加額外的單詞。
如果想通俗地理解這個概念，還得從非洲的鼓手說起。 科學家發(fā)現(xiàn)，南部非洲的人們經(jīng)常用鼓來傳達信息，甚至用鼓來說話。 例如：一個女嬰出生了。 本通知翻譯如下：
分娩墊已經(jīng)卷起來，我們感到充滿了力量。 一個女人從森林里來到這個空曠的村莊。 這就是這次的全部內(nèi)容。
您可能想知道，為什么會發(fā)生這種情況？ 其實他們之所以加了這么多無用的詞語，就是為了更清楚的表達意思。 這是因為鼓聲在傳輸過程中可能會受到噪音的干擾，或者某些聲音對應的單詞非常接近而難以區(qū)分。 而且如果你添加額外的單詞，你就可以鎖定你想要表達的意思。
認為，如果要發(fā)送某種消息，或者防止該消息在傳輸過程中變得無效，可以使用類似的方法，通過添加額外的單詞來實現(xiàn)降噪，這也可以稱為增加冗余。
這實際上是香農(nóng)第三定律。
6.香農(nóng)在山上等你
“帶寬”其實是我們現(xiàn)在經(jīng)常談論的一個詞。 我們都知道帶寬越大越好。 但帶寬可以無限增加嗎？ 要理解這個問題，我們首先要知道帶寬是什么意思？ 我們都知道信號是波形，而不是直線，所以它必須占據(jù)很寬的通道。 這個占用的寬度就是帶寬。 也就是說：
無線電波的頻率范圍決定了總體帶寬。
要知道頻率越高，攜帶的信息量就越大，所以速度其實也會更快。
然而，如果一個區(qū)域內(nèi)有很多人同時使用網(wǎng)絡，則可以分配給每個人的帶寬（頻率范圍）是有限的。 如果超過這個上限，就會發(fā)生傳輸錯誤。 因此，上網(wǎng)速度是有上限的，無論你如何調(diào)試，都無法突破香農(nóng)給出的限制。
看到這里，你可能會有些困惑。 沒關系。 我們舉一個生活中的例子。 互聯(lián)網(wǎng)在過去20年里發(fā)生了質(zhì)的飛躍。 我們首先使用撥號上網(wǎng)。 用過的人都會發(fā)現(xiàn)速度慢得要命，而且通常無法打開兩個以上的網(wǎng)頁。 這是因為當時的帶寬不能超過56K，稍微快一點就會出錯。 后來我們有了寬帶，但是如果你想用寬帶看高清電影，那你就想多了。 后來有了光纖，我們就可以看高清電影了。
但香農(nóng)告訴我們，
只要傳輸速率達到或超過帶寬，無論采用什么方式，信息傳輸錯誤率一定是100%
這實際上是香農(nóng)第二定律。 信息論的有趣之處在于，其他科學理論都發(fā)明了一個起點，但香農(nóng)發(fā)明的是一個關鍵點。 就像他在山上等你一樣。 你一直在努力到達山頂。 這個山頂被稱為香農(nóng)極限。
七、香農(nóng)對我們的??啟示
香農(nóng)三定律實際上已經(jīng)應用于各行各業(yè)。
事實上，香農(nóng)三定律比我描述的要復雜得多。 為了讓大家更容易理解，我做了很多簡化和比喻。 但我們應該知道的是，它不僅僅是一個理論，更重要的是，它是一個想法。 如果你不是實踐者，你實際上可以從香農(nóng)定律中得到一些有價值的想法。
香農(nóng)第一定律告訴我們，驚喜就是信息。
香農(nóng)第二定律告訴我們，帶寬決定傳輸速率。
香農(nóng)第三定律告訴我們，如果我們想把話說清楚，我們可以多添加一點冗余。
當然我們可以推導出這三個定律。 以香農(nóng)第二定律為例。 帶寬就像商業(yè)中的聯(lián)系網(wǎng)絡。 網(wǎng)絡決定企業(yè)的規(guī)模。 例如：阿里巴巴和滴滴可以通過互聯(lián)網(wǎng)訪問全世界的帶寬。 這樣一來，阿里巴巴肯定會比任何制造企業(yè)擁有更大的帶寬，滴滴也肯定會比任何出租車司機擁有更大的帶寬，所以他們的企業(yè)規(guī)模也會遠勝于后者。
8. 向香農(nóng)致敬
以上是香農(nóng)在信息論方面的成就。 事實上，香農(nóng)是一位全能科學家。 他對信息論的見解實際上來自于他在二戰(zhàn)期間對密碼學的研究。 除此之外，他還與愛德華·索普一起發(fā)明了第一臺可穿戴計算機。 平日里，他喜歡雜耍、騎獨輪車和下棋。
香農(nóng)晚年深受阿爾茨海默病的困擾。 2001年2月24日，這位偉大的科學家去世了。 由于研究領域的原因，他沒有獲得諾貝爾獎。 但這絲毫不影響他的偉大。 他對人類文明的貢獻是不可估量的。 直到今天，我們?nèi)匀皇芤嬗谛畔r代給我們帶來的好處。 我相信數(shù)百年后，每當人類回憶起這個時代時，香農(nóng)都將是這個時代為數(shù)不多的能夠載入史冊的科學家之一。
今年是香農(nóng)誕辰 103 周年。 讓我們記住這位為人類文明做出巨大貢獻的科學家。
