熵的由来物理学中，熵有两个定义——热力学定义和统计力学定义。
熵最初是从热力学角度定义的。
19世纪50年代，克劳修斯（...R J E C lausius）编造了一个新名词：entropy，它来自希腊词“trope”，意为“转变，变换”。
为了与能量（energy）相对应，克劳修斯在“trope”上加了一个前缀“en”。
在克劳修斯看来，“energy”和“entropy”这两个概念有某种相似性。
前者从正面量度运动转化的能力；后者从反面量度运动不能转化的能力，即运动丧失转化能力的程度，表述能量的可转换能力（活力）丧失的程度，或能量僵化（蜕化）的程度（尽管能量总体是守恒的）。
例如，你用20元人民币购得一袋大米，你的价值总量（能量）不变，但一袋大米在市场上的再交换能力（活力）低于20元人民币。
这种消费使其熵（经济）增大。
按当初的设计，活力越丧失，能量越僵化，熵越大。
热力学第一定律描述了自然界中各种形式的能量转换过程中量的守恒，并未指出不同形式能量的本质的差异。
而热力学第二定律告诉我们，能量之间的品质是有差别的：有序运动的能量可以通过做功完全转变成无序运动的能量；而无序运动的能量不能完全转变成有序运动的能量（效率为100%的热机是不能实现的）。
或者说，有序运动的能量转化为其他形式的能量的能力强，能被充分利用来做功，品质较高；而无序运动的能量转化能力弱，做功能力差，品质较低。
根据热力学第二定律，高品质的能量转换为低品质的能量的过程是不可逆的。
高品质的能量转换为低品质的能量后，就有一部分不能再做功了。
我们把这样的过程称为能量的退化，通过物理学知识可以证明：退化的能量与系统的熵增成正比。
于是，我们可以说：熵是能量不可用程度的度量。
“熵”的中文译名是我国物理学家胡刚复教授确定的。
他于1923年5月为德国物理学家普朗克作《热力学第二定律及熵之观念》讲学时做翻译，把“entropy”译为“熵”。
它是热量变化与温度之比（商），又与热学有关，就加了个“火”字旁，定名为熵。
我们知道，事物（封闭系统）变化的过程大多是不可逆的。
从初态可变到终态，而终态却不能自发地（不影响周围环境）变回初态，尽管能量始终是守恒的。
例如，封闭容器中气体分子可以自由膨胀充满整个容器，但却不能自发地回缩到原来的某个局部；瓷瓶落地成碎片，而碎瓶却不能自发复原成瓷瓶；生米煮成熟饭，熟饭却不能晾干成生米；热量可以自动从高温物体传递给与之相连的低温物体，但却不能自动逆向传递，等等。
这就是说，这些初态与终态之间有着某种本质上的差别。
物理学家用“熵”（S）这个物理概念来描述这种差别，进而用“熵变”（S∆）这个物理量来计算这种差别。
认为初态（宏观）所含的微观状态数较少（即熵值小，较有序），而终态（宏观）则相反。
在一封闭系统中，自然演变总是指向微观状态数多的方向（熵值大，较无序）发展，而不是相反。
这就是熵增大原理：0∆>。
S增大的最终结果只能是大家都处在同等状态——平衡态，碎瓶越摔越碎，温度差越来越小。
1896年，奥地利物理学家玻尔兹曼从分子运动论的观点对熵做了微观解释，认为熵是分子运动混乱程度的量度。
这不仅是人们对熵的理解豁然开朗，而且为熵概念的泛化（推广）创造了契机。
玻尔兹曼证明了，在系统的总能量、总分子数一定的情况下，表征系统宏观状态的熵（S）与该宏观态对应的微观数W有如下关系：=⋅S k Wln这就是著名的玻尔兹曼公式。
它把熵和微观状态数联系起来，熵越大，微观状态数越多，分子运动越混乱，熵成为分子运动混乱程度的度量。
今天，在维也纳大学绿草如茵的校园里竖立着玻尔兹曼的塑像，在他的塑像的上面，就刻着ln=⋅这个简洁的公式。
它标志着玻尔兹曼一生所能达到的光辉顶点。
物理学中S k W能与之媲美的只有牛顿运动定律F m a=⋅和爱因斯坦质能方程2=⋅。
E m c从克劳修斯提出熵概念之后，150多年来，熵的应用已经远远超出了热力学、统计物理学的范畴，波及经济学、社会性、化学，以及信息论、控制论、概率论、数论等各个不同的领域。
越来越多的人在讨论熵，没有哪一个概念能像熵这样被赋予如此广泛的内涵。
熵概念不再仅仅是物理学享有的专利，而成为众多学科研究的热点。
可以说，熵的提出是19世纪科学思想的一个巨大贡献，就像牛顿力学的巨大成功，使力的概念无所不在，例如：理解力、智力、能力等等。
这些“力”不需要遵循牛顿运动定律，是力的概念在社会科学中的隐喻、类比和泛化，它使社会科学的各个领域得到新的启示和发展。
同样，熵理论的节节胜利，使熵的概念已波及离最初孕育它的物理学之外的很远的领域。
正是在这种情况下，熵的概念远远超出了作为一种具体科学的含义，也超出了从狭义理解的作为系统演化的判据，而被赋予认识论和方法论的意义。
爱因斯坦认为熵定律是所有科学定律中的第一定律，爱丁顿（..A S Eddington）则认为熵定律是整个宇宙中至高无上的哲学定律。
●熵为解决时间箭头(arrow of time)问题提供了方向在熵的概念出现以前的物理学中，不论是牛顿运动方程，还是相对论、量子论都是时间反演对称的，即把时间t换成t'，方程不变，过去和未来没有差别。
它为我们描绘的是一幅静态的、可逆的、永恒不变的物理图景。
事实上，自然界中一切自发的过程都具有不可逆性。
这就具有一种时间方向性。
也就是说，自然不具有时间反演不变性。
熵给予时间的流逝以固定的方向和确定的物理意义，在熵定律中以不等式来表达，它意味着事物发展的不可逆性。
熵作为“发展”的指标，第一次把历史的观点引入了物理学，为人们描绘了一幅动态的、不可逆的、不断演化的物理图景。
●熵概念在生命科学中的泛化1867年，玻尔兹曼注意到生物生长过程与熵增加过程相抗的事实。
薛定谔写过一本很有名的书《生命是什么》，第一次明确提出“负熵”的概念。
薛定谔认为生命的特征是新陈代谢。
生命的新陈代谢和外界交换什么呢？交换物质？构成食物和排泄物的原子都是一样的，同类原子的交换有什么意义？薛定谔说：“自然界中正在进行的每一件事,都意味着熵的增加。
要活着，唯一的办法就是从环境中不断地吸取负熵。
”运用负熵来解释生命，多少年来人们一直争论不休。
●熵与信息一般来说，信息是由信息源（如自然界、人类社会等）发出的各种信号被接受者接受和理解。
信息并非事物本身，而是表征事物，并由事物发出的消息、情报、数据和信号所包含的内容。
信息论的创始人香农（Shannon）为此先引入一个概念：不确定度。
在没有收到一个数码以前，人们对它到底是什么并不确定，如果设法计量了这个不确定度的程度有多大，也就为计算信息找到了线索。
“My greatest concern was what to call it. I thought of calling it ‘information’, but the word was overly used, so I decided to call it ‘uncertainty’. When I discussed it with John von Neumann, he had a better idea. Von Neumann told me, ‘You should call it entropy, for two reasons. In the first place your uncertainty function has been used in statistical mechanics under that name, so it already has a name. In the second place, and more important, nobody knows what entropy really is, so in a debate you will always have the advantage. ”——Conversation between Claude Shannon and John von Neumann regarding what name to give to the “measure of uncertainty” or attenuation in phone-line signals香农指出，如果一个信号有N 个可能的结果，那么结果出现前的不确定度就是：ln H C N =⋅这个表达式与熵的玻尔兹曼公式ln S k W =⋅多么相似啊！统计学家把H 称为信息量。
香农把不确定度H 称为信息熵。
这样，信息在它的定量化的进程中与物理学的“熵”搭上了边。
信息熵概念的建立吗，多少为测算信息找了一个统一的科学的定量的计算方法，从而奠定了信息论的基础。
热力学统计物理中熵有一条著名的定理，就是熵增加原理。
类似的，信息论中也有一条关于信息熵的著名定理——最大信息熵原理。
最大信息熵原理是计算不确定度时选择不确定度最大的几率分布的标准。
我们以一个简单的称球问题为例来分析。
假设我们有4个外观一样的小球，我们被告知其中一个的重量和其他3个不同，是次品，次品有可能轻有可能重，我们不知道是哪一个。
用一架天平，称两次找出不一样小球。
用信息熵来分析，每个球有三种可能性：轻、正常、重。
也就是说，一开始我们未知的信息位(bit)一共有33211⨯+=个（其中三个球，每个都需要3个位描述它的信息：轻、正常、重。
还剩下一个球，只需要两个位描述：轻、重，因为它不可能是正常的。
我们用天平只能知道相对重量，而不能知道重量相等的三个球是否正常）。
开始是熵最大，最无知的状态。
然后，通过称重来消除无知点，即减少信息熵，直到未知点小于等于2（未知点为2表示知道哪个球是次品，未知点为1或0表示不仅知道次品球的标号，还知道它是轻还是重）。
过程见上图。
第一次称：取球①和②放天平左右。
如果天平平衡，则①②为正品，即消除6个bit 。
第二次称，取小球①③，若再平，则④为次品，即再消除3个bit ，这时未知信息为11632--=。
如果第二次称不平衡，则③为次品，且知③是轻还是重，即再消除(31)+个bit ，这时未知信息点为116311---=。
如果第一次称天平不平，则③④为正品，另知①不会轻（重），而②不会重（轻），即消除62+个未知点。
再称第二次（①和③），如平，则②为次品，且知轻重，即再消除2个bit ，剩余未知bit 为11821--=。
如果第二次天平不平衡，则①为次品，且知轻重，即再消除2个bit ，即剩余11821--=。
通过信息学熵公式推导可得一般公式：312k N -=，其中k 为称的次数，N 为最多可度量的球数。
最大信息熵原理的用途是可以求各种具有“最混乱”、“最任意”、“最随机”等因素的统计分布规律。
