Если теоретико-информационная и термодинамическая энтропия не должны всегда быть идентичными, что является более фундаментальным?

Более фундаментальным является не ясное и однозначное понятие. Если понятие А более фундаментально, чем понятие В, то это означает, что понятие В может быть выведено из понятия А, но не наоборот, может показаться, что энтропия теории информации более фундаментальна, чем термодинамическая энтропия. Однако я думаю, что после более тщательного изучения эта точка зрения окажется несовместимой с фактами.

Действительно, «вывод» термодинамики из теории информации предполагает концепции и отношения термодинамики и показывает, что формулы статистической механики для фундаментальных уравнений термодинамики могут быть выведены из теории информации. Однако физические теории — это нечто большее, чем набор символов. Они должны включать правила интерпретации формализма. Поэтому достаточно подумать о понятии тепла. Как это определяется в рамках теории информации без использования термодинамики?

Поэтому я бы не стал говорить о более фундаментальных . Я бы скорее сказал, что это две разные энтропии с разными масштабами. В некоторых случаях теория информации может давать результаты, согласующиеся с термодинамикой, при условии, что использовались правила интерпретации термодинамики .

Другое, но связанное наблюдение состоит в том, что одно и то же имя энтропии для двух разных объектов в термодинамике и теории информации не обязательно подразумевает иерархическое отношение.

На второй вопрос ответ отрицательный. Бывают случаи, когда только один из них может иметь значение для физической системы. Я попытаюсь объяснить предыдущее утверждение парой примеров:

1. Формула Шеннона требует только присвоения вероятности каждому микросостоянию системы. Следовательно, это содержательное понятие даже в случае неравновесного распределения вероятностей. Термодинамическая энтропия определена только для равновесных систем.
2. Термодинамические системы основаны на физических системах с лежащей в их основе динамикой, контролирующей эволюцию микроскопических состояний. Информационная энтропия может быть отнесена даже к статическим (неразвивающимся) системам.

С одной стороны, термодинамическая энтропия — это всего лишь особый вид информационной энтропии, поэтому последняя является более фундаментальной.

С другой стороны, информационная энтропия в общем случае субъективна и зависит от наблюдателя, а термодинамическая энтропия одинакова для всех наблюдателей (с точностью до сдвига на константу, что не существенно) и потому на самом деле объективна и в силу который играет фундаментальную роль в физике.

Заметим, что в принципе можно представить себе наблюдателя, для которого термодинамическая энтропия не имеет смысла, но такой наблюдатель должен быть нелокальным, а динамические законы физики, по-видимому, не допускают существования таких наблюдателей.

Вы можете найти некоторые подробности в «Физических основах направления времени» Зеха.

Связь между информацией и термодинамической энтропией заключается в том, что они концептуально различны , но эквивалентны в том же смысле, что и масса и энергия, а это означает, что между ними существует пропорциональность один к одному, но их семантические значения совершенно разные. Это можно обобщить в виде уравнения

(если измерить$H$в шеннонах, а не в нац) и, самое главное, это относится к изменениям энтропии, потому что может иметь место произвольный постоянный сдвиг, относящийся к количеству информации, которой обладает агент, которому приписывается информационная энтропия.

Концептуально разница заключается в том, что термодинамическая энтропия применяется к физической системе , а информационная энтропия применяется к сообщению , которое является более абстрактным или, лучше сказать, отношением между сообщением и принимающим агентом. Поскольку они применимы к разным вещам, трудно назвать какую-то одну из них более фундаментальной, или, во всяком случае, мы могли бы назвать тепловую энтропию «более фундаментальной» с физической точки зрения, потому что это прямое физическое свойство системы. Эквивалентность возникает, когда мы считаем, что рассматриваемое «сообщение» является микроскопическим описанием физической системы, то есть сообщением, полностью определяющим микросостояние системы.

Возражения, приведенные здесь другими авторами, касаются агентов, изучающих/приобретающих информацию — такого рода изменения не относятся к тем, к которым относится приведенная выше эквивалентность: она относится к тому, как знания агента без получения новой информации «датируются» во времени как система претерпевает физическую эволюцию в соответствии с законами физики. Если он узнает новую информацию, что означает, что он расширяет свое описание макросостояния, чтобы оно было менее «макро» и более «микро», тогда$H$прыгает как-то не так$S$потому что$S$основан на фиксированном стандартном макросостоянии (например, энергии и объеме газа). Другой способ взглянуть на это состоит в том, что, когда система и агент взаимодействуют в измерении, изоляция, на которой атрибуции$S$и$H$зависит, ломается. В таких ситуациях следует затем спросить о$S$и$H$приписывается составной паре система/агент вторым агентом, если кто-то действительно хочет обсудить эквивалентность.

(PS использование$H$здесь не следует путать с энтальпией . Это досадная коллизия нотаций в данном контексте, но эй, в конце концов, принцип сортировки...)