2023-10-11

热力学熵和信息熵

假设系综大小为 $M \to \infty$， 由等概率原理， 有 $M P_i = n_i$ 个处于 $i$ 状态。

我们知道经典热力学熵¹ $$ \begin{align} S &= k \ln \Omega \\ &= k \ln \frac{M!}{n_1 ! n_2 ! \dots n_N!} \end{align}$$ 根据 Stirling 近似 $\ln n! = n\ln n - n$ $$ \begin{align} S &= - k \sum_i n_i \ln \frac{n_i}{M} \\ &= - k M\sum_i \frac{n_i}{M} \ln P_i \\ &= - k M\sum_i P_i \ln P_i \end{align}$$ 那么 $$s = \frac{S}{M} = -k\sum_i P_i \ln P_i = -k \int p(x) \ln p(x) dx$$ 热力学熵和信息熵讲的是同一件事情。