浅谈最大熵原理和统计物理学

淺談最大熵原理和統計物理學文/曾致遠摘要在本文中我們將分別從物理和資訊論角度簡單討論熵的意義並介紹由E.T.Jaynes 所奠立基礎的最大熵原理的原始理解。

透過研究理想氣體，我們將闡述如何運用最大熵原理研究真實問題。

同時藉由簡短分析統計物理學研究方法的問題，本文會給出最大熵原理更深層涵義及其應用。

我們將稱之為最大熵原理第二延伸。

最後透過真實氣體的研究，我們將描繪出如何運用第二延伸來幫助我們思考及研究熱力學系統。

一、前言長時間以來人們對於熵有物理上的理解也有資訊論 (Information theory) 上的理解。

物理上的熵可以說明熱力學系統的演化方向、熱平衡的達成與否亦或是代表系統的混亂程度等[1-3]。

在資訊論裡，資訊熵則代表量測資訊系統的可信度或者是忽略度[3,4]。

然而不管物理或是資訊論上對熵的理解，實際上仍侷限於將熵視為一個量測的工具。

正如我們可藉由系統能量的量測來了解系統狀態穩定與否。

然而由於E.T.Jaynes的貢獻，熵可視為一種研究問題的推理工具，這一層意義才為人所知[5,6]。

時至今日，我們雖然仍無法全盤了解熵的真正意含，但是我們也漸漸掌握熵在物理學尤其是統計物理中所能扮演的角色。

通過本文淺顯的介紹，我們將從過去Jaynes對於熵的認識到今日我們的新發現，掀開熵的神秘面紗。

二、最大熵原理l、什麼是最大熵原理相信物理系學生和物理研究人員都很熟悉Clausius的經驗準則-熱力學第二定律[1,2]。

該定律說明當一個熱力學系統達到最後熱平衡狀態時，該系統的熵會達到最大值。

進一步的研究指出當系統的熵最大時，其自由能將會成為最小。

在此一特性的影響下人們慣性的傾向於將熵視為類似能量的巨觀物理量。

此一物理量成為描述系統亂度的依據。

此後由於 Gibbs 引入 ensemble 觀念，開啟微觀角度的研究方法因而奠立近代統計力學理解熵的理論基礎。

在統計力學的觀念中，觀察者所量測到該系統熱力學性質之巨觀物理量諸如系統內能或壓力，基本上只能以平圴值來表現。

原因在於觀察者無法明確掌握系統微觀狀態。

此種不確定性可以藉由機率分佈如canonical ensemble 來量化表示。

古典系統熵便可由此機率分佈來定義出不連續表示，i ii b P P k S ∑-=log ， (1)式中 b k 代表波茲曼常數而 i P 為觀察者量測到系統處在狀態i 時的機率分佈。

或者是連續表示，()()N N N b q P q P dq k S ⎰-=log ， (2)式中 ()p r q N ,= 代表空間和動量參數且()N N dq q P 表示觀察者量測到系統微觀狀態在N dq 範圍之機率份佈。

對於量子統計系統， vonNeumann 發現也同樣存在著類似形式來描述系統亂度。

他給出熵密度矩陣 (density matrix) 型式， ()N q ρ，()()⎰-=N N N b q q dq k S ρρlog ， (3)。

不過這些熵的微觀知識，只讓我們了解到熵和用以描述熱力學系統物理量平均值的機率份佈之間存在一個關聯性。

除此之外，我們並未獲得更多觀念上的突破。

熵仍只是一個量測工具。

在 1940年代 Shannon 等人所發展的 communication theory[4]也就是後來漸趨成熟且多元化的Information theory 中，也同樣存在一相似特性的量。

Shannon 也稱之為熵，該量被視為量測雜訊如何影響系統中有用資訊的程度，我們定義為忽略度 (degree of ignorance) 或者描述了選取系統資訊的傾向程度，稱之為傾向度(degree Of likelihood) 。

通過 Cox 和 Skilling 完全不同的論證[5,7]，資訊熵的機率分佈型式類似於熱力學熵。

所不同者在於熱力學熵含有波玆曼常數。

這樣的相似性直到 Jaynes 在1957 年的研究才證明這個相似其實是相等[5]。

資訊熵和熱力學熵實際上具有相同的含意。

Jaynes 更進一步指出且證明最大熵原理 (maximum entropy principle)並不只是單純的熱力學第二定律。

他的研究指出，最大熵原理不具任何物理意義僅是一個推論的工具。

藉由此原理，觀察者所擁有的相關系統資訊可以公正客觀的被編入特定機率分佈中來描述觀察者量測到系統微觀狀態的機會。

下一小節中我們將以理想氣體為例具體說明在 Jaynes 的理解下，如何運用此一原理重現統計力學的結果並且通過這樣的方式我們將更能了解熵及最大熵原理在物理上的含義和功用。

2、實例一：理想氣體假設一含有 N 個氣體分子的理想氣體已達熱平衡狀態，觀察者可量測到該氣體之總內能平均值為()⎰=H q P dq E N N (4)其中∑==Ni i m p H 122 代表系統的漢米頓量(Hamiltonian)，對於理想氣體而言僅有動能而無分子間相互作用能而 ()N q P 代表我們量測到系統微觀能量狀態等於 H 時的 N 個分子機率分佈。

關係式 (4)，我們稱之為能量約束方程。

它描述了我們對於理想氣體有關能量部分資訊的了解。

無庸至疑的，我們也知道機率分佈()N q P 需要滿足下列約束方程，()1=⎰NNq P dq (5)所有系統可能狀態的機率分佈總合要等於1。

現在的問題是我們如何找到合適的 ()N q P 可以同時滿足此二約束方程。

因為唯有知道確實的機率分佈，我們才有辦法繼續研究此一系統的其它物理牲質。

根據 Jaynes 的研究，最大熵原理告訴我們，當此系統達到熱力學平衡時，最有可能的機率分佈()N q P 將會使熵達到最大值。

具體來說，最大熵原理說明在約束方程 (4) 和 (5) 的條件考慮下最大化熵。

此最大化過程可由變分原理來達成。

首先我們分別針對式 (4) 和 (5) 引入兩拉格朗日因子 (Lagrangian multipliers) α 和 β ，我們得到以下變分方程，()()[()()]01=----⎰⎰EH q P dq q P dq S N N N N βαδ (6)將式 (2) 代入上式後對 ()N q P 變分，我們可以得到 ()N q P()H N e q P βα---=1 (7)接著利用上兩約束方程，我們可分別決定拉格朗日因子 α 和 β 。

最後我們可得到最合適描述此理想氣體的機率分佈 ()N q P ，()HN e Zq P β-=1 (8)Z 為 N 個理想氣體分子分配函數 (partitionfunction) 其值為，NHN V e dq Z ⎪⎭⎫⎝⎛Λ==⎰-3β (9)其中 2122⎪⎪⎭⎫⎝⎛=ΛT mk B π 為大家所熟知的熱力學波長。

通過分配函數，系統的 Helmholtz 自由能可由下推導得出3loglog Λ-=-=VT Nk Z T k F b b(10)此理想氣體的各種物理性質如壓力變化、相圖都可以由此依序獲得。

這也就是統計力學中的canonical ensemble 方法。

若我們獲取更多關於此一理想氣體的資訊，如觀察者所量測之總粒子數平均值可由粒子數密度來關聯時()()⎰=r n q P dq N N N (11)其中 ()r n 代表 N 顆氣體分子密度分佈。

我們則可得到 grand canonical ensemble()()()⎰=--r nr dH NN e Z q P ˆ31μβ (12)分配函數 NN V e Z ⎪⎭⎫⎝⎛Λ=3βμ而化學能 μ 可由約束方程 (11) 決定之。

通過此一例子，我們可了解不管是從物理理論如氣體運動方程的推論而得到的 canonical ensemble 或者 grand canonical ensemble 實際上與我們在考慮與系統相關約束方程下最大化熵的結果一致。

這樣的結果揭示一個解決物理問題不一樣的思維。

也就是當我們將所知的物理知識當作是一種資訊來處理，則 ”如何解決物理問題“這個課題可以重新解讀為如何有效誠實處理這些資訊。

在這樣的解讀下最大熵原理已提供了最公正的解答。

換言之，若我們擁有一系統充份相關的物理知識，如實驗結果，我們便可給出與之相關的約束方程。

之後經由最大熵原理，我們便可公正客觀的決定關於這些物理知識最佳的機率分佈。

經由 Jaynes 的證明，最大熵原理所扮演的角色不再僅是量測忽略度而已，它更是系統化將我們所知資訊編碼的推理工具。

而且其應用不侷限於 canonical ensemble 或者是 grand canonical ensemble 而是取決於我們能獲得何種資訊。

正因如此過去人們處理如統計物理學的既定觀念和方式將變為有所依循而且可避免許多針對特別問題由研究者所給定的人為假設。

如此一來一個具有最小偏差的研究理論可於焉誕生。

三、統計物理學的問題根據上述分析，使用最大熵原理作為統計力學的研究方法基本上可以區分成兩部分討論。

第一部份為物理部份，唯有具備正確且相關於待研究系統的物理資訊，恰當約束方程才能給定。

第二部分為處理物理資訊部份， 亦即利用最大熵原理將相關資訊做最佳編碼以得機率分佈。

上一節中，理想氣體的研究便是最佳典範。

當理想氣體的物理特性由約束方程 (4) 和 (5) 來描述後，canonical ensemble 的決定則單純的由最大熵原理來進行。

其過程完全與物理無關。

很明顯的因為最大熵原理恆真，canonical ensemble 是否恰當描述理想氣體則完全取決於約束方程的適當與否。

而正如前所述由於約束方程的決定需要相關的物理知識協助來決定。

如何抉擇有助系統研究的物理資訊是統計力學所需面對的第一個問題。

不幸的是目前為止，並不存在一個系統化的方法來解答這個問題。

大多數時候，人們還是只能依賴著嘗試錯誤法或是從經驗、實驗結果來判斷。

這樣的課題關連到所謂“觀念形成”的探討，有待進一步研究來回答。

因此本文將不會針對此問題來進行深入討論。

我們所關心的是除此之外，統計力學進一步所需面對的問題。

當機率分佈如 canonical ensemble 由最大熵原理給定後，我們如何去解讀這些機率分佈以計算關於系統物理性質的期望值。

換句話說，我們如何計算分配函數。

對於理想氣體，由於氣體間不存在任何相互作用力，方程式(9) 中分配函數的計算是易如反掌。

但事實上由於複雜的相互作用力，真實系統的機率分佈是難以計算。

對於這樣的機率分佈我們稱之為不可計算機率分佈。

因此當我們面對真實熱力學系統時，如何處理複雜多體相互作用力成為統計力學中一必要課題。

換句話說只有當我們理解如何有效處理複雜多體相互作用力，我們才可能發展合適的近似法來計算分配函數。

例如因為短距離排斥力和長距離吸引力的相互競爭造成流體不同於固體的物理性質，讓我們知道要計算含有這些相互作用力的分配函數可以利用如平均場近似法來進行。