人類的生存、發(fā)展，除了與外界有物質(zhì)和能量的交換外還必須有信息的交換。

信息是什么？

《辭海》對信息的定義：“信息是指對消息接收者來說預(yù)先不知道的報導(dǎo)。”

熵與信息

事實上，信息已成為現(xiàn)代科學(xué)技術(shù)普遍使用的一個概念。作為日常用語，指音信、消息；作為科學(xué)技術(shù)用語，可以簡單地理解為消息的接受者預(yù)先不知道的報導(dǎo)；作為一個社會概念，信息則是指人類共享的一切知識，或從社會發(fā)展趨勢以及客觀現(xiàn)象中提煉出來的各種信息之總和。

信息是日常生活的常見現(xiàn)象，是事物表現(xiàn)的一種普遍形式。一切事物都會發(fā)出信息，因此說，信息無時不在，無處不有。人類生活在千變?nèi)f化的信息之中，因此必須擁有足夠的信息，才能有效地工作和生活。

信息論中的信息是上述各種信息的抽象化和定量化，它同任何意義無關(guān)，已不存在諸如有意義或無意義、有無目的等概念。對這種信息的度量，導(dǎo)致了信息熵概念的建立。

信息熵是對信息的量度有關(guān)概念：隨機事件—事先不能完全肯定的事件。

幾率—對隨機事件結(jié)果的可能性的定量估計。

C.E.shannon引入不確定程度H—如果一個事件（如收到一個信號）有N個等可能性的結(jié)局，那么結(jié)局未出現(xiàn)前的不確定程度H與N的對數(shù)成正比，即 （C為常數(shù)）

C.E.Shannon把不確定度稱為信息熵。

信息熵是對信息的量度對N個結(jié)局出現(xiàn)機會并不相等的情況：設(shè)有A1，A2，…An共N個可能結(jié)局，而每個結(jié)局出現(xiàn)幾率分別為P1，P2…，Pn，且有 .那么，其不確定程度H為它的某一結(jié)局所具有的不確定性

而整個系統(tǒng)的各個結(jié)局所具有的平均不確定性的數(shù)學(xué)期望為信息熵是對信息的量度信息熵概念的建立，為測度信息的多少找到了一個統(tǒng)一的科學(xué)的定量計量方法，從而奠定了信息論的基礎(chǔ)。

值得指出：信息熵概念的建立，使人們加深了對熱力學(xué)熵的認(rèn)識，因為這里引入的信息熵概念，它既不與熱力學(xué)過程相聯(lián)系，也不與分子運動相聯(lián)系，但信息熵與熱力學(xué)熵有密切關(guān)系。

信息熵是對信息的量度從以下的推導(dǎo)中可以看到：設(shè)系統(tǒng)的總粒子數(shù)為N，它們可以分布在E1，E2…Ei…Em共m個能級上，每個能級上的粒子數(shù)分別是N1，N2…Ni…Nm ，則N個粒子在m個能級上的分配數(shù)，即系統(tǒng)的微觀態(tài)數(shù)W為：

由玻耳茲曼公式： 取對數(shù)

信息熵是對信息的量度再利用斯特林公式：則上式得：整理后可得：而 ，方括號內(nèi)的量即信息熵H.所以 這就得到了熱力學(xué)熵與信息熵的定量關(guān)系，二者成正比，從這里已把熱力學(xué)、統(tǒng)計物理與信息論聯(lián)系起來了。