Как вы доказываете S=−∑plnpS=−∑pln⁡pS=-\sum p\ln p?

Эта теорема называется теоремой бесшумного кодирования, и она часто неуклюже доказывается в книгах по теории информации. Суть теоремы состоит в том, чтобы вычислить минимальное количество битов на переменную, необходимое для кодирования значений N одинаковых случайных величин, выбранных из$1...K$чья вероятность иметь значение$i$между$1$а также$K$является$p_i$. Минимальное количество битов, которое вам нужно в среднем на переменную в большом пределе N, определяется как информация в случайной переменной. Это минимальное количество битов информации на переменную, которое вам нужно записать в компьютер, чтобы запомнить значения N копий с идеальной точностью.

Если переменные распределены равномерно, ответ очевиден:$K^N$возможности для N бросков, и$2^{CN}$возможности для$CN$биты, так что$C=\log_2(k)$для больших N. Любые биты меньше CN, и вы не сможете закодировать значения случайных величин, потому что все они равновероятны. Более того, у вас будет дополнительная комната. Это информация в однородной случайной величине.

Для общего распределения вы можете получить ответ, применив немного закона больших чисел. Если у вас много копий случайной величины, сумма вероятностей равна 1,

$$P(n_1, n_2, ... , n_k) = \prod_{j=1}^N p_{n_j}$$

Эту вероятность при больших N преобладают те конфигурации, где число значений типа i равно$Np_i$, так как это среднее число типов i. Таким образом, значение P в любой типичной конфигурации равно:

$$P(n_1,...,n_k) = \prod_{i=1}^k p_i^{Np_i} = e^{N\sum p_i \log(p_i)}$$

Так что для тех возможностей, где вероятность не очень мала, вероятность более или менее постоянна и равна указанному выше значению. Общее число M(N) этих не слишком маловероятных возможностей равно тому, что требуется, чтобы сумма вероятностей равнялась 1.

$$M(N) \propto e^{ - N \sum p_i \log(p_i)}$$

Следовательно, чтобы закодировать, какая из M(N) возможностей реализуется в каждом N выборе, вам потребуется количество битов B(N), которого достаточно для кодирования всех этих возможностей:

$$2^{B(N)} \propto e^{ - N \sum p_i \log(p_i)}$$

что обозначает

$${B(N)\over N} = - \sum p_i \log_2(p_i)$$

И все второстепенные константы размываются из-за большого предела N. Это информация, а приведенное выше асимптотическое равенство есть теорема Шеннона о бесшумном кодировании. Чтобы сделать его строгим, все, что вам нужно, это несколько тщательных оценок оценок больших чисел.

Реплика совпадений

Существует еще одна интересная интерпретация энтропии Шеннона в терминах совпадений. Рассмотрим вероятность того, что вы выберете два значения случайной величины и дважды получите одно и то же значение:

$$P_2 = \sum p_i^2$$

Очевидно, это оценка того, сколько различных значений можно выбрать. Если вы спросите, какова вероятность того, что вы получите одно и то же значение k-раз в k-бросках, это

$$P_k = \sum p_i p_i^{k-1}$$

Если спросить, какова вероятность совпадения после$k=1+\epsilon$бросает, вы получаете энтропию Шеннона. Это похоже на трюк с репликами, поэтому я думаю, что это хорошо иметь в виду.

Энтропия из информации

Чтобы восстановить статистическую механику из информации Шеннона, вам дается:

• значения макроскопических сохраняющихся величин (или их термодинамических сопряженных величин), энергии, импульса, углового момента, заряда и числа частиц.
• макроскопические ограничения (или их термодинамические сопряжения) объем, положение макроскопических объектов и т. д.

Тогда статистическое распределение микроскопической конфигурации является максимальным распределением энтропии (как можно меньше известной вам информации) в фазовом пространстве, удовлетворяющим ограничению соответствия величин макроскопическим величинам.

Лучший (ИМХО) вариант$\sum p \log p$формула из основных постулатов - та, которую первоначально дал Шеннон:

Шеннон (1948) Математическая теория коммуникации. Технический журнал Bell System. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6773024

Однако Шеннон занимался не физикой, а телеграфией, поэтому его доказательство появляется в контексте передачи информации, а не статистической механики. Чтобы увидеть актуальность работы Шеннона для физики, лучшими ссылками являются статьи Эдвина Джейнса. Он написал десятки статей на эту тему. Мой любимый, по общему признанию, довольно длинный

Jaynes, ET, 1979, «На каком уровне находится максимальная энтропия?» в Формализме максимальной энтропии, Р.Д. Левин и М. Трибус (ред.), MIT Press, Кембридж, Массачусетс, с. 15; http://bayes.wustl.edu/etj/articles/stand.on.entropy.pdf

Функциональная форма энтропии$S = - \sum p \ln p$можно понять, если потребовать, чтобы энтропия была экстенсивной и зависела от микроскопических вероятностей состояний$p$.

Рассмотрим систему$S_{AB}$состоит из двух независимых подсистем A и B. Тогда$S_{AB} = S_A +S_B$а также$p_{AB} = p_A p_B$так как А и В не связаны.

$$S_{AB} = - \sum p_{AB} \ln p_{AB} = -\sum p_{A} \sum p_B \ln p_A -\sum p_{A} \sum p_B \ln p_B$$

$$= -\sum p_{A} \ln p_A - \sum p_B \ln p_B = S_A + S_B$$ Этот аргумент верен с точностью до множителя, который оказывается постоянной Больцмана. $k_B$в статистической механике: $S = - k_B \sum p \ln p$это связано с Гиббсом, задолго до Шеннона.

Подходя к этому с чисто физической точки зрения, это энтропия Гиббса системы. Во-первых, хотя понятие энтропии можно расширить, мы обычно обсуждаем равновесную термодинамику, и именно здесь впервые вводится энтропия Гиббса.

Вы, конечно, правы в том, что технически динамика может быть полностью описана их уравнениями движения, но тогда не было бы особой необходимости в предмете термодинамики. Я имею в виду, что термодинамика в каком-то смысле не так «фундаментальна», как другие предметы в физике, в том смысле, что она не пытается дать полное описание всего .о системе, которую вы изучаете. Обычно вы обсуждаете большие системы (и поэтому ищете макроскопические свойства) или маленькие системы, взаимодействующие с большой средой. (например, нет большого смысла говорить о температуре электрона) В действительности поиск детерминированного описания таких систем совершенно нецелесообразен (даже без теории Хаоса и квантовой механики количество уравнений было бы слишком огромным), и поэтому вы используете термодинамику.

В равновесной статистической термодинамике (которая ищет обоснование классической термодинамики, основанной на средних значениях микроскопического описания) вы начинаете с принципа равных априорных вероятностей, который говорит для изолированной системы, которая долгое время оставалась одна (расплывчатая, но в основном то, что он находится в равновесии) каждое микросостояние, доступное для системы, с равной вероятностью будет занято. Это большое предположение, и есть много людей, которые хотели бы иметь возможность обосновать его должным образом, но это часто аргументируется симметрией (с имеющейся у вас информацией нет причин предполагать, что одно конкретное микросостояние будет более вероятным, чем любой другой). Более того, это просто работает.

Затем было постулировано, что энтропия изолированной системы равна$S=k \ ln(\Omega)$по Больцману, где$\Omega$- это количество микросостояний, доступных системе (его проще построить, предполагая дискретное количество микросостояний, особенно если вы говорите об энтропии Больцмана/Гиббса). Это постулат, но он должен соответствовать классической термодинамической энтропии. Энтропия Гиббса является естественным расширением этого, когда вы рассматриваете системы, которые находятся в тепловом контакте с окружающей средой, и вероятности микросостояний больше не равны. Вы можете показать, что она согласуется с классической термодинамической энтропией для ряда систем и действительно показывает, как энтропию можно рассматривать как меру неопределенности относительно микроскопических деталей системы.