Является ли информационная энтропия такой же, как термодинамическая энтропия?

Таким образом, цитата Пратчетта, похоже, касается энергии, а не энтропии. Я полагал, что вы могли бы утверждать обратное, если предположили, что «энтропия — это знание», но я думаю, что это ровно наоборот: я думаю, что знание — это частный случай низкой энтропии. Но ваш вопрос все равно интересен.

Энтропия$S$в термодинамике связано с количеством неразличимых состояний, которые может занимать система. Если все неразличимые состояния равновероятны, количество «микросостояний», связанных с системой, равно$\Omega = \exp( S/k )$, где постоянная$k\approx\rm25\,meV/300\,K$связано с количеством энергии, которой обмениваются термодинамические системы при различных температурах.

Канонический пример — банка с монетами. Предположим, я роняю на пол 100 монет. Есть 100 способов, которыми я могу получить один хедз-ап, а остальные — решку; Существуют$100\cdot99/2$способы иметь две головы; Существуют$10 \cdot99\cdot98/6$способы иметь три головы; есть около$10^{28}$способы иметь сорок голов, и$10^{29}$способы иметь пятьдесят голов. Если вы бросите банку пенни, вы не найдете их с 3%-ным хедз-ап, так же как вас не ударит молния, когда вы сдаете себе флеш-рояль: слишком много других альтернатив.

Связь с термодинамикой возникает, когда не все мои микросостояния имеют одинаковую энергию, так что моя система может обмениваться энергией с окружающей средой, совершая переходы. Например, предположим, что мои 100 пенни не на полу моей кухни, а на полу моего пикапа с разбалансированной шиной. Вибрация означает, что каждый пенни может перевернуться, что приведет к распределению 50-50. Но если есть какое-то другое взаимодействие, которое делает хедз-ап более вероятным, чем решка, то 50-50 — это не то, на чем я остановлюсь. Может быть, у меня есть навязчивый пассажир, который выбрасывает все гроши решкой вверх. Если встряхивание и случайное переворачивание происходит достаточно медленно, чтобы он мог перевернуть их все, это фактически «нулевая температура»; если тряска и случайное подбрасывание настолько энергичны, что пенни обычно переворачивается прежде, чем он исправит следующую, это «бесконечная температура». (на самом деле это частьопределение температуры ).

Энтропия Больцмана, которую я использовал выше,

$$S_B = k_B \ln \Omega,$$ точно такая же , как энтропия Шеннона, $$S_S = k_S \ln \Omega,$$ за исключением того, что постоянная Шеннона$k_S = \frac1{\ln 2}\rm\,bit$, так что система с десятью битами информационной энтропии может находиться в любом из$\Omega=2^{10}$состояния.

Это заявление с физическими последствиями. Предположим, что я покупаю двухтерабайтную SD-карту ( очевидно, стандарт поддерживает это ) и заполняю ее сорокачасовым видео о том, как мои морские свинки превращают сено в какашки. Уменьшив количество возможных состояний SD-карты с$\Omega=2\times2^{40}\times8$до единицы, определение Больцмана говорит мне, что я уменьшил термодинамическую энтропию карты на$\Delta S = 2.6\rm\,meV/K$. Это уменьшение энтропии должно быть уравновешено равным или большим увеличением энтропии в других частях Вселенной, и если я сделаю это при комнатной температуре, то увеличение энтропии должно сопровождаться тепловым потоком$\Delta Q = T\Delta S = 0.79\rm\,eV = 10^{-19}\,joule$.

И здесь мы наталкиваемся на практические, экспериментальные доказательства одного различия между информацией и термодинамической энтропией. Энергопотребление при записи SD-карты составляет милливатт или ватт, и передача моего сорокачасового фильма о морской свинке не будет кратковременной операцией --- что лишнее$10^{-19}\rm\,J$, достаточно энергии для управления одним инфракрасным атомным переходом, и я должен платить за знание того, что каждый бит на SD-карте ничто по сравнению с другими расходами на эксплуатацию устройства.

Информационная энтропия является частью, но не всей термодинамической энтропии системы. Термодинамическая энтропия включает в себя информацию о состоянии каждого атома каждого транзистора, составляющего каждый бит, и в любой бистабильной системе будет много-много микроскопических конфигураций, соответствующих «включено», и много-много различных микроскопических конфигураций, соответствующих «отключено». ."

---

Любопытный спрашивает,

Почему энтропия Шеннона текста шекспировского фолианта не меняется при изменении температуры?

Это связано с тем, что любой эффективный носитель информации должен работать при нулевой температуре, иначе биты перевернутся и информация будет уничтожена. Например, у меня есть Полное собрание сочинений Шекспира, которое весит около 1 кг бумаги и имеет информационную энтропию примерно в несколько мегабайт.

Это означает, что при печати книги были минимальные дополнительные затраты энергии$10^{-25}\rm\,J = 1\,\mu eV$связанные с размещением этих слов на странице именно в таком порядке, а не в каком-либо другом. Знание того, что написано в книге, уменьшаетего энтропия. Знание того, является ли книга сначала сонетом или пьесой, еще больше снижает ее энтропию. Знание того, что «Уезжай/Не оставайся/Встретимся до рассвета» на странице 158, еще больше снижает его энтропию, потому что, если ваш мозг находится в низкоэнтропийном состоянии, когда вы знаете «Сон в летнюю ночь», вы знаете, что он должен начните со страницы 140 или 150 или около того. И то, что я сообщал вам каждый из этих фактов и одновременно уменьшал вашу энтропию, было связано с дополнительной энергией в какую-то долю наноэВ, полностью потерянной в метаболизме моего мозга, механической энергии моих пальцев, рабочей энергии моего компьютера, энергия работы моего интернет-соединения с диском в центре обработки данных StackExchange, где хранится этот ответ, и так далее.

Если я подниму температуру этого Полного собрания сочинений с 300 К до 301 К, я увеличу его энтропию на$\Delta S = \Delta Q/T = 1\,\rm kJ/K$, что соответствует многим йоттабайтам информации; однако книга продуманно устроена так, что неупорядоченная информация не влияет на расположение слов на страницах. Если же я попытаюсь запасти в этой книге лишний мегаджоуль энергии, то где-то на своем пути до температуры 1300 кельвинов она превратится в груду пепла. Прах высокоэнтропийный: прах «Бесплодных трудов любви» невозможно отличить от пепла «Тимона Афинского».

Информационная энтропия --- которая была удалена из системы, в которой хранится информация --- это крошечное подмножество термодинамической энтропии, и вы можете надежно хранить информацию только в тех частях системы, которые фактически находятся при нулевой температуре.

---

Одноатомный идеальный газ, состоящий, скажем, из атомов аргона, также можно разделить на подсистемы, в которых энтропия зависит или не зависит от температуры. Атомы аргона имеют как минимум три независимых способа хранения энергии: поступательное движение, электронные возбуждения и ядерные возбуждения.

Предположим, у вас есть моль атомов аргона при комнатной температуре. Поступательная энтропия определяется уравнением Сакура-Тетроде и зависит от температуры. Однако фактор Больцмана для первого возбужденного состояния при 11 эВ равен

$$\exp\frac{-11\rm\,eV}{k\cdot300\rm\,K} = 10^{-201}$$ и поэтому число атомов аргона в первых (или более высоких) возбужденных состояниях точно равно нулю, и энтропия в секторе электронного возбуждения равна нулю. Энтропия электронного возбуждения остается точно нулевой до тех пор, пока множители Больцмана для всех возбужденных состояний не составят в сумме$10^{-24}$, так что в среднем имеется один возбужденный атом; это происходит где-то около температуры $$T = \frac{-11\rm\,eV}{k}\ln 10^{-24} = 2500\rm\,K.$$ Таким образом, когда вы повышаете температуру вашего моля аргона с 300 К до 500 К, число возбужденных атомов в вашем моле изменяется с нуля до нуля, что является конфигурацией с нулевой энтропией, независимой от температуры, в чисто термодинамическом смысле. процесс.

Точно так же даже при десятках тысяч кельвинов энтропия, хранящаяся в ядерных возбуждениях, равна нулю, потому что вероятность найти ядро ​​в первом возбужденном состоянии около 2 МэВ на много порядков меньше, чем количество атомов в вашем образце.

Точно так же термодинамическая энтропия информации в моем Полном собрании сочинений Шекспира если не равна нулю, то очень низка: есть небольшое количество конфигураций текста, которые соответствуют Полному собранию сочинений Шекспира, а не «Властелину колец» или «Улиссу». или Дон Кихот из того же материала с эквивалентной массой. Информационная энтропия («Полное собрание сочинений Шекспира занимает несколько мегабайт») говорит мне о минимальной термодинамической энтропии, которую нужно было удалить из системы, чтобы организовать ее в Полное собрание сочинений Шекспира, и о связанных с этим затратах энергии на перенос этой энтропии в другое место; эти затраты ничтожны по сравнению с полным обменом энергией и энтропией, связанными с печатью книги.

Пока температура моей книги остается значительно ниже 506 кельвинов , вероятность того, что любая буква в книге спонтанно изменится и станет выглядеть как другая буква или как неразборчивая капля, равна нулю, а изменения температуры обратимы .

Этот аргумент, между прочим, предполагает, что если вы хотите хранить информацию в квантово-механической системе, вам нужно хранить ее в основном состоянии, которое система будет занимать при нулевой температуре; поэтому вам нужно найти систему, которая имеет несколько вырожденных основных состояний. Ферромагнетик имеет вырожденное основное состояние: атомы в магните хотят выровняться со своими соседями, но направление, которое они выбирают, не ограничено. Как только ферромагнетик «выбрал» ориентацию, возможно, с помощью внешнего выравнивающего поля, это направление остается стабильным до тех пор, пока температура существенно ниже температуры Кюри , то есть небольшие изменения температуры не вызывают энтропию. увеличение колебаний в ориентации магнита.Возможно, вы знакомы с механизмами хранения информации, работающими по этому принципу.

Формально две энтропии — одно и то же. Энтропия Гиббса в термодинамике равна

$$S = -k_B \sum p_i \ln p_i$$ в то время как энтропия Шеннона теории информации $$H = -\sum p_i \log_2 p_i.$$ Они равны с точностью до некоторых числовых множителей. Учитывая статистический ансамбль, вы можете рассчитать его (термодинамическую) энтропию, используя энтропию Шеннона, а затем умножив на константы.

---

Однако в некотором смысле вы правы. Часто, когда люди говорят об энтропии Шеннона, они используют ее только для подсчета вещей, которые мы интуитивно воспринимаем как информацию. Например, можно сказать, что энтропия транзистора, включенного или выключенного с равной вероятностью, равна 1 биту.

Но термодинамическая энтропия транзистора в тысячи, если не в миллионы раз выше, потому что она учитывает все, то есть конфигурации всех атомов, составляющих транзистор. (Если вы хотите объяснить это своим коллегам-программистам, скажите, что они не считают, является ли каждый отдельный атом «включенным» или «выключенным».)

В общем, количество «интуитивной» информации (например, битов или слов в книге) составляет совершенно незначительную долю общей энтропии. Термодинамическая энтропия библиотеки примерно такая же, как у склада пустых книг.

Честно говоря, я считаю, что этот вопрос на самом деле не решен, или, по крайней мере, в научном сообществе еще нет консенсуса относительно того, каков ответ.

Мое понимание отношения, я думаю, немного отличается от knzhou, rob или CuriousOne. Насколько я понимаю, термодинамическую энтропию можно рассматривать как особое применение информационной энтропии. В частности, можно применить принципы информации и информационной энтропии, чтобы спросить, как много человек знает о состоянии квантовой системы, и при определенных условиях термодинамическая энтропия Больцмана кажется восстановленной.

В качестве конкретного примера, недавний эксперимент, связанный с этим вопросом (1) , изучает «энтропию запутанности» взаимодействующей квантовой системы, которая представляет собой приложение информационной энтропии к квантовому состоянию. При соответствующих обстоятельствах (рассматривая матрицу плотности одной частицы термализованного квантового состояния) показано, что эта информационная энтропия идентична термодинамической энтропии Больцмана.

С этой точки зрения термодинамика есть «всего лишь» частное применение информационных принципов. Конечно, информационные принципы можно применять и к совершенно другим системам, таким как книги, радиосвязь и так далее. В результате термодинамическая и информационная энтропии — это не одно и то же, а два частных применения одного и того же общего принципа.

Однако это мнение ни в коем случае не разделяют все, и хотя это соответствие, по-видимому, работает в некоторых случаях, таких как описанный выше эксперимент, его еще предстоит объяснить в более общем контексте.

Два несколько связанных вопроса, которые могут вас заинтересовать:

Самопроизвольное превращение теплоты в работу при отрицательных температурах

Какие явления вызывают необратимый рост энтропии?

---

Приложение: Иерархия энтропии

Вот иерархия энтропий, которую я здесь утверждаю (игнорируя такие константы, как$k_B$):

1. Энтропия Шеннона:$S_\textrm{Shannon}=− \sum_i p_i \log p_i$. Описывает, грубо говоря, как много человек знает о состоянии некоторой системы, с$i$являющиеся возможными состояниями. Эта система может быть, например, строкой двоичных битов.

2. Применяя это к неизвестному квантовому состоянию, можно получить энтропию Гиббса:$S_\textrm{Gibbs}=− \sum_i p_i \log p_i$, где$i$теперь являются конкретно возможными квантовыми состояниями системы. Чтобы это выражение имело физический смысл,$i$должны быть собственными состояниями системы в базисе, в котором матрица плотности диагональна*. С этим условием,$S_\textrm{Gibbs}$идентична энтропии фон Неймана квантового состояния:$S_\textrm{VN}=− \text{tr}(\rho \log \rho)$, с$\rho$матрица плотности.

3. Энтропия запутанности — это просто приложение$S_\textrm{VN}$к определенному пространственному подмножеству (обычно изолированной) системы:$S_{EE,A}=− \text{tr}(\rho_A \log \rho_A)$, куда$\rho_A$- матрица плотности, полученная в результате частичного следа по матрице плотности большой системы, сохраняющей только некоторую локальную подсистему. Другими словами, это энтропия отдельной части какой-то большей системы.

4. Весьма нетривиальное утверждение, сделанное в (1) (и в других местах), состоит в том, что для термализованной системы$S_{EE,A}$небольшой локальной подсистемы$\rho_A$эквивалентна термодинамической энтропии Больцмана, определяемой как:$S_\textrm{Boltz}=-\sum_i(p_{i,\textrm{th}} \log p_{i,\textrm{th}})$, с$p_{i,\textrm{th}}=\frac{e^{-E_i/k_B T}}{\sum_i e^{-E_i/k_B T}}$,$i$как возможные состояния$\rho_A$, а также$k_B T$выбирают так, чтобы система имела правильную среднюю энергию. Кстати, это утверждение известно как «гипотеза термализации собственного состояния».

* В этом требовании нет ничего сверхъестественного: просто потому, что энтропия должна обладать некоторыми «хорошими» свойствами, такими как аддитивность, состояние$i$должны быть некоррелированы.

До сих пор было довольно много проницательных ответов о статистической механической энтропии, но пока единственное упоминание о термодинамической энтропии было сделано CuriousOne в комментариях, поэтому я подумал, что было бы полезно дать краткое общее напоминание о тонкой разнице. между понятием энтропии в термодинамике и формулами статистической механики и теории кодирования.

Один из подходов к пониманию термодинамической энтропии - через фундаментальные (или технологические) ограничения на максимально достижимый КПД тепловых двигателей. В первом томе лекций Фейнмана есть раздел по термодинамике, в котором красноречиво описывается, как эффективность Карно обеспечивает универсальную температурную шкалу.$T$(с точностью до произвольного выбора единиц), так что количество$\frac{d Q}{T}$является дифференциалом функции состояния$S$что называется энтропией. Поскольку термодинамическая энтропия в основном определяется производительностью тепловых двигателей, термодинамическая энтропия чувствительна только к характеристикам системы, которые способны поглощать тепло и расслабляться способами, позволяющими извлекать работу.

В этом смысле теоретико-информационная энтропия — это мера того, какие особенности вы знаете*, а термодинамическая энтропия — это мера того, какие особенности на малых масштабах коллективно влияют на системы на больших масштабах.

* Информационно-теоретическая энтропия и статистическая механическая энтропия (сами по себе) по сути просто меры объема пространства возможных результатов.