1.信息論的基礎工作
1687年7月5日，牛頓的《自然哲學的數學原理》首次出版發表，點燃了整個學術界，奠定了他在世界上的地位。 這本書還確立了現代科學的范式。
1948年，香農發表了一篇英文論文20世紀的物理學家，題為“A of”，翻譯過來就是“通信的數學原理”。 這篇論文引起了巨大的轟動。 要知道一篇專業學術論文被引用1000次是非常了不起的，而香農的文章至今被引用也達到了1000次，可見其在學術界的地位。
幾年后，這篇論文將以書的形式出版，并更名為《The of》，翻譯過來就是《通信的數學原理》。 這意味著它已經被認為是信息論的基礎，就像《自然哲學的數學原理》在物理學世界中的作用一樣，香農之于信息論就像牛頓之于物理學一樣。 那么這個香農是誰呢？
今天我們來聊聊：香農和他的《通信的數學原理》。
2、震驚世界
克勞德·埃爾伍德·香農 ( ) 1916 年出生于密歇根州蓋洛德。當時，電氣時代蓬勃發展，電報十分發達。 然而，電話尚未普及，而且價格相對昂貴。 于是，很多人把牧場的鐵絲網互相連接起來，并安裝了自己的電話麥克風，以實現小范圍內的通訊。
香農就是在這樣的氛圍中長大的。 他從小就喜歡發明和玩耍，尤其是玩機械裝置。 他特別喜歡摩爾編碼，經常使用編碼來發送消息。 后來，16歲那年，他進入密歇根大學學習電氣工程和數學。 1936年，20歲的香農來到麻省理工學院擔任研究助理，跟隨時任工程院院長萬尼瓦爾·布什。
當時，香農的主要工作是操作一臺重達數百噸的機器，稱為微分分析機。
在每天繁雜的工作中，香農發現：
機器中開關的切換本質上不是傳遞電流，而是傳遞狀態。
換句話說，也可以理解為傳遞一個事實或者一條信息。
具體來說，當時的差分分析引擎的控制器一共有兩個開關，一個是普通開關，另一個是稱為繼電器的特殊開關。 這是一個直接用電控制的開關。 那么這個繼電器有什么用呢？
香農發現，繼電器從一個電路傳遞到下一個電路的并不是實際的電流，而是電路閉合或斷開的事實。
于是，他開始思考是否任何電路都可以用一組表達式來表示。 他的表達式中只需要兩個數字：0和1。
0代表開路，1代表閉路。
然后，他開始推演，從最簡單的開始，先分析一下有兩個開關的電路。 如果是串聯電路，可以對應：邏輯連接詞“與”，如果是并聯電路，可以對應：邏輯連接詞“”或者，當然，他還衍生出很多更復雜的情況，比如如：“如果...則...”以及“星形”和“網狀”網絡。
此外，他還設計了一種基于二進制的邏輯電路，僅依靠繼電器和開關就可以實現兩個數字的和。 于是，他發表了碩士論文《A的接力與》。 可以說是一戰成名。 這篇文章實際上是未來計算機革命的核心。 它被譽為20世紀最重要的論文之一。 香農之所以能做到這一點，其實是基于兩點：模塊化和等價性，這后來成為現代計算機設計的兩個核心思想。 事實上，模塊化可以理解為將復雜問題簡單化的過程。 香農發現任何復雜的問題都可以無限拆分。 例如：要實現微積分運算，我們可以將這種復雜的計算分解為幾次加減乘除，然后分解為更簡單的邏輯運算。
其次，模塊化的前提是對等。 我們可以這樣理解：
即使是最復雜的計算機也共享一組邏輯運算。 也就是說，任何一臺計算機都可以相當于很多加減乘除運算，也就相當于很多邏輯運算。
這里補充一下，很多人可能不太明白為什么二進制可以實現這些操作。 這實際上與摩爾斯電碼相同。
我們經常在電影中看到人們敲擊機器，用“·”和“-”來代表信息，遠方的人都知道具體含義。 這是因為他們有一個比較表。 通過這樣的對比，他們就能知道對方說了什么。
我們其實可以想象一座古老的烽火臺。 在古代，預示敵人到來的不是吼叫聲，而是烽火。 “敵人來了”=“信標開火”，實現了一個編碼過程。
二進制系統也是同樣的原理，只是用二次系統代替了風火系統20世紀的物理學家，然后通過匯編語言實現編碼。
3.信息論之父
我們來談談香農吧。 二進制邏輯電路其實已經足以讓香農在史冊上大放異彩，但他們并沒有放棄繼續科學研究的想法。 后來他將自己的研究應用到遺傳學上，寫了一篇文章《理論遺傳學的代數》，可惜后來這篇論文沒有發表。
博士畢業后，香農來到著名的普林斯頓高等研究院，成為一名研究員。 這里的科學家都是科學史上的大神，比如愛因斯坦、馮·諾依曼。
在與許多偉大科學家交流的過程中，香農構建信息論的想法逐漸成型。 你可能想問為什么我們要建立一套信息論？ 這要從言語開始。 在文字出現之前，我們用事實和積累的經驗來描述生活。 例如：如果老虎來了，就逃跑。 后來文字出現后，我們就可以用文字來描述它了。 但問題來了。 言語需要思考和審視。 越來越多的人發現言語中的悖論，例如：白馬不是馬。 隨后，科學家開始使用數字和幾何來量化自然。 這方面的先驅是牛頓。
他認為，構建理論體系，首先要對研究對象進行界定和量化。 在他之前，“力”、“質量”、“運動”甚至“時間”都具有模糊的含義。 牛頓改變了這一切。 他用數學語言，即數字和幾何，準確地定義和量化了研究對象。 如果你有機會讀《自然哲學數學原理》，你會發現牛頓一開始并沒有講牛頓三定律，而是在前20頁中對它們進行了定義。
因此，牛頓的偉大不僅在于他的三大定律和萬有引力定律，更在于他建立了現代科學的研究范式。 麥克斯韋將數學引入電磁學，最終成為電磁學大師。 愛因斯坦最終打破了牛頓體系，利用黎曼幾何構造了廣義相對論。 他們所做的一切都是在物理層面上。
我們都知道世界是由物質、能量和信息組成的。 以牛頓為首的物理學家成功地將物質和能量科學化，但信息論尚未科學化。 香農打破了僵局。 他對信息做出了嚴格的定義，還提出了信息論三大定律，后人稱之為香農定律。 那么香農定律是怎么說的呢？
4、信息的本質是不確定性嗎？
事實上，量化信息，或者衡量一條信息所包含的信息量是相當困難的。 每次讀到香農定律，我都有一種不可思議的感覺。 因為香農的見解是如此違反直覺，卻又如此符合20世紀科學發展的基調。他認為
某事物的信息內容取決于它克服了多少不確定性。
這句話怎么理解呢？
為了幫助你理解，讓我給你舉一個生活中很常見的例子。 我們大多數人都過著非常規律的生活，就像我一樣。 每天兩點就到一線物理資源網，準時上班，準時下班，要么在公司，要么在家里。 即使我不告訴你我在哪里。 正如您可能猜到的那樣，這只是選擇兩者之一的問題。 所以，我告訴你的信息其實意義不大，因為我的位置信息對你來說不確定性很小。
但如果有一個人每天出差到世界各地，他的位置信息對你來說是一種不確定性，那么信息量就很大了。
可能你還是不太明白，我們再舉兩個例子：
很多人都喜歡看電影，尤其是最近特別火的復仇者聯盟4。 為此，很多人都會在凌晨0點去看第一部電影。 為什么是這樣？
從第二天的走勢來看，如果不盡快去電影院觀看，肯定會被寵壞。 所以，你可以思考一下這個過程。 其實復仇者聯盟4的劇情對于你來說是非常不確定的。 而當你已經被寵壞的時候，你已經知道了劇情的走向，不確定性就減少了。 這個時候還是復聯4這部電影，所以你看的時候就不會那么著急了。
這也是最近幾年很多人喜歡看無限反轉劇的原因，因為過去有很多劇是看了開頭就能猜到結局的，不確定性很低。 然而，無限反轉劇，每次都能給你驚喜，信息量巨大。
因此，香農認為
某事物的信息內容取決于它克服了多少不確定性。
但話雖如此，我們常常感嘆：信息量真大。 其實你覺得信息很多，因為你看到的信息對你來說是非常不確定的，所以你才會有這樣的感覺。 如果整篇文章都是1+1=2這樣的計算公式，你可能根本感覺不到信息量。
剛才我們也提到，要提出一套信息論，實際上需要把信息和數學結合起來。 因此，為了量化信息，他提出了兩個概念：信息熵和比特。 信息熵實際上借用了物理學中“熵”的概念。 物理學中的“熵”主要指一個系統的混亂程度。 我們之前說過，信息量取決于不確定性。 是不是和混沌程度差不多？ 因此，香農相當于借用了“熵”的概念。 信息熵的實際描述是：
消息中出現的所有字符都經過加權和平均。
公式如下。 其實只是初中水平的計算。 只要理解它就可以了。
其單位為：位。
因此，如果一定要用一句話概括信息熵：
選擇范圍越廣，可選擇的信息就越多。
這實際上是香農第一定律。
5.克服噪音的方法：增加冗余
當然，香農的見解超越了“信息熵”。 他提出了一種溝通模式。
在這個模型中，噪聲不能被忽略。 為了解決長距離通信中的信息失效問題，工程師只能一次又一次地放大信號，但這只會導致噪聲逐漸積累，但噪聲卻永遠無法消除。
香農想出了一個減少噪音的方法：添加額外的單詞。
如果想通俗地理解這個概念，還得從非洲的鼓手說起。 科學家發現，南部非洲的人們經常用鼓來傳達信息，甚至用鼓來說話。 例如：一個女嬰出生了。 本通知翻譯如下：
分娩墊已經卷起來，我們感到充滿了力量。 一個女人從森林里來到這個空曠的村莊。 這就是這次的全部內容。
您可能想知道，為什么會發生這種情況？ 其實他們之所以加了這么多無用的詞語，就是為了更清楚的表達意思。 這是因為鼓聲在傳輸過程中可能會受到噪音的干擾，或者某些聲音對應的單詞非常接近而難以區分。 而且如果你添加額外的單詞，你就可以鎖定你想要表達的意思。
認為，如果要發送某種消息，或者防止該消息在傳輸過程中變得無效，可以使用類似的方法，通過添加額外的單詞來實現降噪，這也可以稱為增加冗余。
這實際上是香農第三定律。
6.香農在山上等你
“帶寬”其實是我們現在經常談論的一個詞。 我們都知道帶寬越大越好。 但帶寬可以無限增加嗎？ 要理解這個問題，我們首先要知道帶寬是什么意思？ 我們都知道信號是波形，而不是直線，所以它必須占據很寬的通道。 這個占用的寬度就是帶寬。 也就是說：
無線電波的頻率范圍決定了總體帶寬。
要知道頻率越高，攜帶的信息量就越大，所以速度其實也會更快。
然而，如果一個區域內有很多人同時使用網絡，則可以分配給每個人的帶寬（頻率范圍）是有限的。 如果超過這個上限，就會發生傳輸錯誤。 因此，上網速度是有上限的，無論你如何調試，都無法突破香農給出的限制。
看到這里，你可能會有些困惑。 沒關系。 我們舉一個生活中的例子。 互聯網在過去20年里發生了質的飛躍。 我們首先使用撥號上網。 用過的人都會發現速度慢得要命，而且通常無法打開兩個以上的網頁。 這是因為當時的帶寬不能超過56K，稍微快一點就會出錯。 后來我們有了寬帶，但是如果你想用寬帶看高清電影，那你就想多了。 后來有了光纖，我們就可以看高清電影了。
但香農告訴我們，
只要傳輸速率達到或超過帶寬，無論采用什么方式，信息傳輸錯誤率一定是100%
這實際上是香農第二定律。 信息論的有趣之處在于，其他科學理論都發明了一個起點，但香農發明的是一個關鍵點。 就像他在山上等你一樣。 你一直在努力到達山頂。 這個山頂被稱為香農極限。
七、香農對我們的??啟示
香農三定律實際上已經應用于各行各業。
事實上，香農三定律比我描述的要復雜得多。 為了讓大家更容易理解，我做了很多簡化和比喻。 但我們應該知道的是，它不僅僅是一個理論，更重要的是，它是一個想法。 如果你不是實踐者，你實際上可以從香農定律中得到一些有價值的想法。
香農第一定律告訴我們，驚喜就是信息。
香農第二定律告訴我們，帶寬決定傳輸速率。
香農第三定律告訴我們，如果我們想把話說清楚，我們可以多添加一點冗余。
當然我們可以推導出這三個定律。 以香農第二定律為例。 帶寬就像商業中的聯系網絡。 網絡決定企業的規模。 例如：阿里巴巴和滴滴可以通過互聯網訪問全世界的帶寬。 這樣一來，阿里巴巴肯定會比任何制造企業擁有更大的帶寬，滴滴也肯定會比任何出租車司機擁有更大的帶寬，所以他們的企業規模也會遠勝于后者。
8. 向香農致敬
以上是香農在信息論方面的成就。 事實上，香農是一位全能科學家。 他對信息論的見解實際上來自于他在二戰期間對密碼學的研究。 除此之外，他還與愛德華·索普一起發明了第一臺可穿戴計算機。 平日里，他喜歡雜耍、騎獨輪車和下棋。
香農晚年深受阿爾茨海默病的困擾。 2001年2月24日，這位偉大的科學家去世了。 由于研究領域的原因，他沒有獲得諾貝爾獎。 但這絲毫不影響他的偉大。 他對人類文明的貢獻是不可估量的。 直到今天，我們仍然受益于信息時代給我們帶來的好處。 我相信數百年后，每當人類回憶起這個時代時，香農都將是這個時代為數不多的能夠載入史冊的科學家之一。
今年是香農誕辰 103 周年。 讓我們記住這位為人類文明做出巨大貢獻的科學家。
