熵

熵 （Entropy）: 热力学第二定律，熵反映了状态的无序程度。范围（0~1）值越大越混乱。

物体从一种有序转变为另一种有序状态，必经过一个无序状态。无序状态程度即为熵。而为了消除这种无序使其有序，需要额外的能量。在信息中则是变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。

公式

而我们也可能是宇宙由起点至终点两个有序状态中的熵。（热寂宇宙末日假说，也是在熵的概念上提出的）

熵的概念也被广泛应用到各个领域（热力学、统计学、信息学、天文学）