信息論

信息論概述
　　信息論是運用概率論與數理統計的方法研究信息傳輸和信息處理系統中一般規律的新興學科。核心問題是信息傳輸的有效性和可靠性以及兩者間的關系。
　　信息論作爲一門科學理論，發端於通信工程。它具有廣義和狹義兩個概念：
　　狹義信息論是應用統計方法研究通訊系統中信息傳遞和信息處理的共同規律的科學，即研究概率性語法信息的科學；
　　廣義信息論是應用數學和其他有關科學方法研究一切現實系統中信息傳遞和處理、信息識別和利用的共同規律的科學，即研究語法信息、語義信息和語用信息的科學。
　　信息是事物及其屬性標識的集合
　　信息就是信息，信息是物質、能量、信息及其屬性的標示。
　　信息是確定性的增加。即肯定性的確認。
信息論形成和發展
　　人們對於信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈爲號”，可以說是傳遞信息的原始方式。隨着社會生產的發展，科學技術的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成爲普遍重視的課題。美國科學家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，爲建立信息論作出很大貢獻。1948年，美國數學家C.E.香農(被稱爲是“信息論之父”)出版《通信的數學理論》，1949年發表《噪聲中的通信》，從而奠定了信息論的基礎。20世紀70年代以後，隨着數學計算機的廣泛應用和社會信息化的迅速發展，信息論正逐漸突破香農狹義信息論的範圍，發展爲一門不僅研究語法信息，而且研究語義信息和語用信息的科學。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發展的，物質的運動主要是靠內部矛盾運動所產生的能量，而事物之間的普遍聯系則靠的是信息。信息是關於事物的運動狀態和規律，而信息論的產生與發展過程，就是立足於這個基本性質。信息論迅速滲透到各個不同學科領域，但還不夠完善。爲了適應科學技術發展的需要，迎接信息化社會的到來，一門新的科學正在迅速興起，這就是廣義信息論，或者叫做信息科學。信息科學是由信息論、控制論、計算機、人工智能和系統論等相互滲透、相互結合而形成的一門新興綜合性學科。信息科學登上現代科技舞臺，與能量科學、材料科學鼎足而立 ，將爲科學技術的發展作出貢獻。
信息論內容
　　信息論內容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等。
信息量
　　信息的度量是信息論研究的基本問題之一。對於應用範圍如此廣泛的信息提出一個統一的度量是困難的。美國數學家C.E.香農在1948年提出信息熵作爲信息量的測度。根據人們的實踐經驗，一個事件給予人們的信息量多少，與這一事件發生的概率(可能性)大小有關。一個小概率事件的發生，如“唐山發生七級以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個大概率事件的出現，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=- logP(A)〔P(A)表示事件A發生的概率〕來度量事件A給出的信息量，稱爲事件A的自信息量。若一次試驗有M個可能結果(事件)，或一個信源可能產生M個消息（事件）,它們出現的概率分別爲tp://wiki.mbalib.com/w/images/math/0/e/b/0eb5ca3dddd8b31347fdef9936c089ea.png" alt="p1,p2,\cdots,pM"> ,則用tp://wiki.mbalib.com/w/images/math/c/0/a/c0ae508fccd2932dc072e9a3c50a9967.png" alt="H=-\sum_{i=1}^MP_ilogP_i">來度量一次試驗或一個消息所給出的平均信息量。當對數取 2爲底時,單位爲比特；當對數取e爲底時,則單位爲奈特。H的表達式與熵的表達式差一個負號，故稱負熵或信息熵。
信息傳輸模型
　　信息傳輸系統主要由信源、信道和信宿組成，下圖爲信息傳輸系統的基本模型。信源是產生消息的系統。信宿是接受消息的系統，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便於傳輸的形式。
tp://wiki.mbalib.com/w/images/a/ad/%E4%BF%A1%E6%81%AF%E4%BC%A0%E8%BE%93%E6%A8%A1%E5%9E%8B.jpg" alt="Image:信息傳輸模型.jpg" width="700" height="303" longdesc="/wiki/Image:%E4%BF%A1%E6%81%AF%E4%BC%A0%E8%BE%93%E6%A8%A1%E5%9E%8B.jpg">
信源編碼
　　信源是產生消息（包括消息序列）的源。消息通常是符號序列或時間函數。例如電報系統中的消息是由文字、符號、數字組成的報文（符號序列），稱爲離散消息。電話系統中的消息是語聲波形(時間函數)，稱爲連續消息。消息取值服從一定的統計規律。因此,信源的數學模型是一個在信源符號集中取值的隨機變量序列或隨機過程。信源編碼器將消息變換爲一個數字序列(通常爲二進制數字序列)。在離散情形,若信源產生M個可能消息,它們出現的概率分別爲tp://wiki.mbalib.com/w/images/math/0/e/b/0eb5ca3dddd8b31347fdef9936c089ea.png" alt="p1,p2,\cdots,pM">,每個消息由N個信源符號組成,便可取信源編碼與數字序列一一對應。第i個消息對應的數字序列長(數字個數)爲li，li相等的稱等長編碼，否則稱變長編碼。定義tp://wiki.mbalib.com/w/images/math/7/c/3/7c3c0a23331d703c8eb91e9639369a63.png" alt="R={1 \over N}\sum_{i=1}^MP_il_i">爲編碼速率，它表徵平均每個信源符號要用多少個數字來表示。若取信源譯碼器爲信源編碼器的逆變換器，則在無噪信道(信源編碼器的輸出即爲信源譯碼器的輸入) 情況下，消息可以正確無誤地傳送。這時信源編碼問題是要找出最小的速率R及其相應的編碼。已經證明,對於相當廣泛的信源類,當N可以任意大時這個最小極限速率tp://wiki.mbalib.com/w/images/9/92/%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E6%BA%90%E7%BC%96%E7%A0%81.jpg" alt="Image:信息論之信源編碼.jpg" width="248" height="40" longdesc="/wiki/Image:%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E6%BA%90%E7%BC%96%E7%A0%81.jpg">稱爲信源的熵率,是信源的一個重要參數。對於固定的N,最優編碼就是赫夫曼編碼。在連續消息的情形，信息編碼器不可能使消息與數字序列一一對應，因此譯碼也不是編碼的逆變換。通常的方法是先對連續消息進行採樣和量化，變爲離散消息，再將離散消息變換爲數字序列。信源譯碼器先將數字序列逆變換爲離散消息，再用內插法求得連續消息。這樣一來，即使在無噪信道的情況下，發送消息與接收消息之間也會產生誤差，稱爲消息失真。可以用一個非負函數d(u，v)來度量消息 u，v之間的失真大小。這時信源編碼問題是在保證平均失真不超過給定允許極限D 的條件下找出最小速率R 及其相應編碼。求解這一問題導致熵推廣到失真率函數，信源編碼的失真率理論因而得到發展。
信道編碼
　　信道是傳輸信息的媒質或通道，如架空明线、同軸電纜、射頻波束、光導纖維等。有時爲研究方便將發送端和接收端的一部分如調制解調器也劃歸信道。信息論把信息傳送過程中受各種幹擾的影響都歸入信道中考慮。根據幹擾的統計特性,信道有多種模型。最簡單的是離散無記憶恆參信道，它可以用信道入口符號集X、出口符號集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號x＝(x1,x2,…,xN),則相應的輸出(受擾)信號y＝(y1,y2,…,yN)出現的概率爲tp://wiki.mbalib.com/w/images/math/b/e/7/be7a882e797c645b1b4517f53f8ae6ac.png" alt="p=(y|x)=\prod_{i=1}^NP(y_i|x_i),N=1,2,\cdots">信道編碼器將數字序列每K個一組變換爲字長N 的信號（碼字），稱爲分組編碼。若數字和信道符號都是二進制的(可用0,1表示)，則R＝K/N 定義爲編碼速率，它表明每個信道符號表示多少個數字。N-K 稱爲編碼冗余度。信道編碼(糾錯編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說，信道譯碼器可以利用編碼冗余度將受擾信號變換爲正確的發送數字序列。重復編碼乃一簡例。信道編碼器將輸入數字重復三次, 如將01011變換爲000111000111111。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號每三個一組地相加，再將結果逐個與閾值 2比較,小於閾值2的譯爲0,否則譯爲1。這樣若受擾信號010110100011011雖然錯了 5個符號,但譯碼仍爲01011與發送數字序列完全相同。信息論得出的重要結論是:對於一個有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價地說編碼速率足夠小，就能通過信道漸近無誤地傳送消息。更確切地說，對充分長的數字序列，其接收錯誤概率可以任意小。信道編碼問題是要找出使信道漸近無誤地傳輸消息所能達到的最大編碼速率R和相應的編碼。已經證明，對於離散無記憶恆參信道，這個最大極限編碼速率爲tp://wiki.mbalib.com/w/images/7/70/%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E9%81%93%E7%BC%96%E7%A0%81.jpg" alt="Image:信息論之信道編碼.jpg" width="146" height="27" longdesc="/wiki/Image:%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E9%81%93%E7%BC%96%E7%A0%81.jpg">，它是對X上一切概率分布 p取極大值。p爲信道轉移概率(條件概率)，
tp://wiki.mbalib.com/w/images/0/06/%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E9%81%93%E7%BC%96%E7%A0%811.jpg" alt="Image:信息論之信道編碼1.jpg" width="256" height="63" longdesc="/wiki/Image:%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B9%8B%E4%BF%A1%E9%81%93%E7%BC%96%E7%A0%811.jpg">
　　稱爲交互信息；C 稱爲信道容量，是信道的重要參數。
信息傳輸定理
　　對圖中的信息傳輸系統，若啛/TS＜C/TC，其中啛爲信源的熵率，C爲信道容量,TS和TC分別爲信源符號和信道符號的持續時間，則一定存在編碼和譯碼使消息可通過信道漸近無誤地傳送。反之,若啛/TS＞C/TC，則不存在這樣的編碼和譯碼。
　　信息論研究的主流始終是圍繞這個基本定理展开的，只是信源和信道的模型更復雜而已。上述定理是實際存在的,但沒有給出實現這一理想傳輸的具體編碼方法。尋找實現這一理想傳輸的編碼和譯碼方法則是編碼理論研究的目標。雖然這一目標至今尚未達到，但信息論的研究成果對設計新通信系統的作用是人們所肯定的。
信息論的應用
　　信息論的意義和應用範圍已超出通信的領域。自然界和社會中有許多現象和問題，如生物神經的感知系統、遺傳信息的傳遞等，均與信息論中研究的信息傳輸和信息處理系統相類似。因此信息論的思想對許多學科如物理學、生物學、遺傳學、控制論、計算機科學、數理統計學、語言學、心理學、教育學、經濟管理、保密學研究等都有一定的影響和作用。另一方面，由於借助負熵定義的信息量只能反映符號出現的概率分布（不肯定性），不能反映信息的語義和語用層次。一篇重要的報告和一篇胡說亂道的文章可以具有同樣的信息，這顯然不符合常識。因此現階段信息論的應用又有很大的局限性。把信息的度量推廣到適合於語義信息和語用信息的情況，曾經做過許多嘗試。但至今還沒有顯著的進展。
編碼學 密碼學與密碼分析學 數據傳輸 數據壓縮 檢測理論 估計理論 信息論第一定律：信息守恆定律