Мне дали понять, что энтропия в термодинамике и энтропия в теории информации функционально взаимозаменяемы. Неформально я могу принять, что количество работы, необходимой для достижения физического состояния, которое реализует функцию случайной величины или процесса (или может быть описано им) с определенной энтропией, пропорционально энтропии этого состояния.
Моя проблема в том, что термодинамическая энтропия и теоретико-информационная энтропия, кажется, указывают в противоположных направлениях. Итак, вот мысленный эксперимент:
Представьте, что у меня есть кастрюля с двумя жидкостями наверху горелки. Эти две жидкости химически не связаны, но при достаточном перемешивании могут образовать однородную смесь. Они также располагаются на разных уровнях, имея разную плотность.
Если я нагрею жидкости с помощью горелки до тех пор, пока одна или обе из них не закипят, я знаю, что через некоторое время получу довольно хорошую смесь, как масло в шоколаде. Я считаю, что это состояние с высокой энтропией для смеси, поскольку она настолько «взбита», насколько это возможно. Если бы я попытался описать эту смесь строкой (а-ля Комолгоров), мне пришлось бы написать очень длинную строку, чтобы описать, в каком именно состоянии находится каждая из частиц жидкости в данный момент.
С другой стороны, это состояние, которого я достиг, добавляя энергию в систему через горелку. Очевидно, я привел флюиды в состояние, из которого я мог бы извлечь работу. (На самом абсурдном уровне я мог бы поместить в жидкость маленькое колесо, которое будет вращаться при конвекции, и использовать его для питания светодиода). Не значит ли это, что я уменьшил энтропию? В конце концов, разве Земля не обеспечена энергией для совершения работы за счет излучаемой энергии Солнца?
Обратное так же противоречит мне. Если я позволю теплу выйти обратно из кастрюли и выключу горелку, жидкости в конечном итоге осядут слоями. Это гораздо более простое для описания устройство, и оно ближе к «неразбитому яйцу», чем к нагретой смеси. Но теперь у меня меньше энергии для работы, и кажется, что это состояние с более высокой энтропией, поскольку я только что «позволил ей иссякнуть».
Так что же не так? Моя интуиция, мои определения или эксперимент?
Что касается извлечения работы, то имеет значение изменение энтропии Вселенной. Если происходящий процесс увеличивает энтропию Вселенной, то в принципе можно извлечь из нее работу. В ходе этого процесса энтропия конкретной подсистемы может увеличиваться, уменьшаться или оставаться постоянной.
В вашем примере с кипящим котлом вы действительно увеличили энтропию содержимого горшка, нагрев его. Но это не значит, что вы не можете извлечь из этого работу. На самом деле конвективное движение внутри горшка говорит вам, что внутри горшка все еще есть механическая энергия, которая может быть преобразована в тепло и, следовательно, еще больше увеличить энтропию Вселенной. Так что неудивительно, что вы можете извлечь из этого некоторую работу, используя какую-то хитроумную штуковину вроде турбинного колеса.
Когда вы отключаете нагрев и котел остывает и возвращается в состояние равновесия, вселенная достигает состояния максимальной энтропии (во избежание осложнений представьте, что кипящий котел и нагревательный механизм находятся внутри изолированной камеры). Отсюда для Вселенной недоступно никакое другое более высокое состояние энтропии, поэтому из остывшего котла нельзя извлечь никакой работы.
Короче говоря, всегда думайте об изменении энтропии всей вселенной, а не конкретной системы.
Закрытая система может изменить энтропию, энтропия не связана «определенно» с тем, сколько энергии она имеет, а скорее с тем, насколько она не упорядочена (чтобы правильно понять знак). Потерпите меня.
Любое взаимодействие в замкнутой системе, в том числе перемещение энергии, увеличивает энтропию, поэтому энтропию иногда называют стрелой времени.
Если вы добавляете энергию извне в систему, можно добиться либо увеличения, либо уменьшения энтропии системы. Однако общая суперсистема, включая ваш источник энергии, всегда будет увеличивать энтропию (согласно последнему абзацу). Если ваша функция (то, как вы вкладываете энергию) реализует случайное состояние, то вся энергия вносит беспорядок. На самом деле это новое правило для меня (чтобы уточнить мой ответ), но я предполагаю, что это когда мера беспорядка, энтропия, пропорциональна проделанной работе. (проделанная работа, конечно, представляет собой всю энергию, введенную в систему, чтобы закрыть точку)
вероятно_кто-то
яркая звезда
вероятно_кто-то