克勞德‧向農發現未來

克勞德‧向農(Claude Shannon)。

 

  科學追尋自然的基本定理,數學在舊定理的基礎上尋找新的定理,工程學建立系統解決人類需求,這三個領域相互依賴,但又截然不同。很少人同時對三個領域都做出重大貢獻——但克勞德‧向農(Claude Shannon)正是這個少見的人。

 

  向農並非人人皆知的人物,他從未獲得諾貝爾獎,也不像愛因斯坦(Albert Einstein)或理查‧費曼(Richard Feynman)在去世前或後變成家喻戶曉的名人。但在70多年前,向農在開創性的論文中為現代資訊與通訊設備奠定了基礎。

 

  1916年,向農出生於密西根州蓋洛德,他的父親是當地商人,母親是曾擔任地方中學校長的語言學教師。在密西根大學拿到電氣工程與數學學位後,向農在麻省理工學院撰寫了一篇碩士論文,將名為「布林代數」的數學科目應用在開關電路的分析與合成。這是一項變革性的研究,將電路設計從工藝變成一門科學,它被認為是數位電路設計的起點。

 

  接下來,向農將目光投向了一個更大的目標:通訊。

 

  通訊是人類最基本的需求之一。從古老的狼煙到信鴿,再到電話和電視,人類不斷尋找能夠交流得更遠、更快且更可靠的方法。但通訊系統的工程總是與特定的來源與物理介質相關,向農好奇:「通訊是否存在一個統一的理論呢?」1939年他在寫給指導教授萬尼瓦爾‧布希(Vannevar Bush)的信件裡,概述了他對「一般智慧傳輸系統的基本特性」的初步想法。向農對這個問題研究了十年後,終於在1948年發表了經典理論:《通訊的數學理論》(A Mathematical Theory of Communication)。

 

  理論核心是一個單純但非常普遍的通訊模型:發射機將資訊編碼成信號,信號被雜訊干擾,然後由接收器解碼。儘管向農提出的模型很簡單,但它包含了兩個關鍵點:從設計的通訊系統中分離資訊源與雜訊源,並對兩個來源建立概率性地模型。他想像資訊源產生許多可能的資訊來進行交流,每一種資訊都有一定的概率,將雜訊概率化進一步增加接收器解碼的隨機性。

 

向農在開創性的論文中為現代資訊與通訊設備奠定了基礎。

 

  在向農提出理論以前,通訊問題通常被視為一種「確定」的信號還原問題:如何對接收到、被物理介質扭曲的信號進行轉換,盡可能準確地還原原始信號。向農的天才之處是他觀察到通訊的關鍵在於不確定性。通訊問題從物理問題轉變為抽象問題,使向農能夠利用概率對不確定性建立模型,這讓當時的通訊工程師大為震驚。

 

  基於不確定性與概率的框架,向農在論文中有系統地確立了通訊的基本限制。他的解答分為三個部分,在這三者扮演核心角色是資訊「位元」(bit)的概念,向農將其作為不確定性的基本單位。位元是二進位數位(binary digit)的混成詞,可以是1也可以是0。儘管數學家約翰‧杜基(John Tukey)是第一個在備忘錄中提到這個術語的人,但向農是第一個正式在論文中使用這個術語的人。

 

  首先,向農提出了一個表示資訊的每秒最小位元數公式,他將這個數字稱為熵率「H」。這個數字量化了決定資訊源將產生的不確定性。當熵率越低,不確定性就越小,因此越容易把資訊壓縮成更短的內容。

 

  其次,他給出了面對雜訊時能夠可靠通訊的每秒最大位元數公式,他稱之為系統容量「C」。這是接收方能夠解決資訊不確定性的最大速率,使其成為有效地通訊的速度限制。

 

  最後,他證明在面對雜訊的情況下,只有當H小於C時,資訊源的可靠通訊才有可能。因此,資訊就像是水:如果水的流量小於管道的容量,那麼水流就能可靠地通過管道。

 

  雖然這是一種通訊理論,但它同時是關於資訊如何產生與傳遞的資訊理論,他的定理也帶來一些違反直覺的結論。假設你在非常嘈雜的地方說話,要確保資訊傳達的最好方法是什麼?是重複很多次嗎?在嘈雜的餐廳裡,這可能是每個人的第一反應,但事實證明這麼做並不是很有效。當然,只要重複的次數越多,交流就變得越可靠,但這樣就為了可靠性犧牲掉速度。向農告訴世人還有更好的方法,將訊息以不同且複雜的方式編碼傳輸,能夠更快速地進行通訊(直到達到限制C),同時維持給定的可靠性。

 

  向農理論的另一個驚人結論是,無論資訊的性質是什麼——是莎士比亞的詩、貝多芬的樂曲,或是黑澤明的電影——在傳輸以前,將其編碼為位元總是最有效的方法,這個結論也是現代數位資訊時代的根基。例如在無線電系統中,儘管最初的聲音與透過空氣發送的電磁信號都是類比波形,但向農的定理表明,最好先將聲波數位化為位元,然後再把這些位元映射到電磁波中。

 

向農在「資訊科學」乃至「資訊工程」剛萌芽的時代扮演了關鍵角色。

 

  向農的通訊通論是如此地自然,彷彿他是「發現」宇宙的溝通法則,而不是「發明」它們。他的理論有如自然界的基本物理定律那樣重要。從這個層面來看,他是一位科學家。

 

  向農發明了新的數學來描述通訊規則,他引入一些新的想法,例如概率模型的熵率,而這些概念已經被應用在眾多數學分支之中。從這個層面來看,他是一位數學家。

 

  最重要的是,向農是一位工程師。他的理論是受到實際工程問題驅使,雖然向農提出的理論對當時的工程師來說晦澀難懂,但現在它已經成為所有現代通訊系統的基礎框架:光學通訊、水下通訊、甚至太空通訊。

 

  人類如何走進這個網際網路四通八達的資訊時代?如何在瞬間與其他人溝通?向農在「資訊科學」乃至「資訊工程」剛萌芽的時代扮演了關鍵角色,他思考了所謂「資訊」是什麼?如何界定這些訊息?又該如何讓這些訊息快速流動?如果沒有向農,這一切都不可能發生。

 

 

原文出處:Quanta

 

既然您在這裡… 您知道MPlus這些年來一直都是非營利網站嗎?我們秉持「思想自由」與「價值共享」的信念,希望打造一個不受商業操控、專注在讀者身上的平台。如果您也認同我們正在努力呈現的觀點,請您點擊以下的贊助連結。只要新台幣50元,您就可以支持我們,而且只需要您一分鐘的時間: