Как разные определения энтропии связаны друг с другом?

Ваше беспокойство по поводу слишком большого количества определений энтропии вполне обосновано. К сожалению, даже в научной литературе по такому вопросу существует досадная путаница. Ответы, которые вы можете найти даже на сайтах SE, просто отражают это положение вещей.

Короткий ответ заключается в том, что нет ничего лучше уникального понятия энтропии . Существует множество различных, но взаимосвязанных понятий, которые можно было бы назвать по-разному. Они имеют некоторое прямое или косвенное отношение к термодинамической энтропии, хотя обычно не совпадают с ней без дополнительных допущений.

Просто неполный список различных понятий, все названные энтропии содержат

1. Термодинамическая энтропия.
2. Энтропия динамической системы.
3. Энтропия статистической механики.
4. Энтропия теории информации.
5. Алгоритмическая энтропия.
6. Квантовая механика (фон Нейман) энтропия.
7. Гравитационная (и Черная Дыра) энтропия.

Хотя все эти величины называются энтропией , они не полностью эквивалентны. Схематический список ряда систем, к которым они могут быть применены, и некоторые взаимосвязи могли бы помочь составить ментальную карту в таком запутанном концептуальном ландшафте.

Позвольте мне добавить предварительную оговорку. Я не собираюсь писать всеобъемлющий трактат о каждой возможной энтропии. Список задуман как приблизительная карта. Однако, даже если я могу упустить какое-то важное соотношение (я не претендую на звание эксперта по всем формам энтропии!), общая картина должна быть правильной. Это должно дать представление об общей неэквивалентности между разными энтропиями.

1. Термодинамическая энтропия

Его можно применять к макроскопическим системам, находящимся в термодинамическом равновесии, или даже к неравновесным системам, при условии, что какое-то локальное термодинамическое равновесие (ЛТР) может быть оправдано для небольших областей системы. LTE требует, чтобы каждая подобласть была достаточно большой, чтобы можно было пренебречь влиянием относительных флуктуаций (должны быть четко определены локальные термодинамические величины), а время релаксации было меньше, чем обычное время динамической эволюции. Обычная термодинамика требует возможности управления работой и теплообменом системы и в решающей степени зависит от некоторой лежащей в основе микроскопической динамики, способной привести систему к равновесию.

2. Энтропия динамической системы

Настоящий и другие предметы должны содержать подсписки. Под этим названием можно встретить энтропии для абстрактных динамических систем (например, метрическая энтропия, введенная Колмогоровым и Синаем ) и непрерывных хаотических динамических систем. Здесь соответствующая энтропия не требует равновесного состояния, и недавние предложения по неравновесным энтропиям (пример здесь ) можно отнести к этому названию.

3. Энтропии статистической механики

Первоначально они были введены в каждый ансамбль статистической механики, чтобы обеспечить связь с термодинамической концепцией. В принципе, существует одна разная энтропия для каждого ансамбля. Такие разные выражения для широкого класса гамильтонианов совпадают только в так называемом термодинамическом пределе(TL), т. е. для систем с макроскопически большим числом степеней свободы. Обратите внимание, что гамильтонианы должны удовлетворять некоторым условиям для существования TL. Помимо совпадения энтропий в разных ансамблях, TL также требуется для обеспечения того, чтобы энтропии статистической механики удовлетворяли некоторым ключевым свойствам термодинамической энтропии, таким как свойства выпуклости или экстенсивности. Следовательно, можно сказать, что энтропия статистической механики является более чем эквивалентным обобщением термодинамической энтропии.

3. Энтропия теории информации

Эта энтропия есть известная формула Шеннона

Ясно, что$S_{info}$требует только вероятностного описания системы. Нет требования какого-либо термодинамического равновесия, энергии состояния, нет связи с работой и теплотой вообще.$S_{info}$можно было бы считать обобщением статистической механики энтропии, совпадающей с таковой только в случае равновесной функции распределения вероятностей термодинамических переменных. Однако,$S_{info}$могут быть определены даже для систем без внутренней динамики.

4. Алгоритмическая энтропия

В настоящем списке это единственная энтропия , которую можно отнести к индивидуальной (микроскопической) конфигурации. Его определение не требует больших систем, распределения вероятностей, внутренней динамики или равновесия. Это мера сложности конфигурации , выраженная длиной ее кратчайшего описания.

Связь алгоритмической энтропии и информационной энтропии заключается в том, что при наличии ансамбля конфигураций среднее значение (по ансамблю) алгоритмической энтропии обеспечивает хорошую оценку информационной энтропии. Однако следует учитывать, что алгоритмическая энтропия является невычислимой функцией.

6. Квантовая механика (фон Неймана) энтропия

Хотя иное с формальной точки зрения можно считать обобщением идей Шеннона для описания квантовой системы. Однако такие понятия, как тепловое равновесие или теплота, в данном случае не играют никакой роли.

7. Гравитационная (и черная дырная) энтропия

Набор звезд в галактике можно рассматривать как систему, по крайней мере, в LTE. Однако их термодинамика весьма своеобразна. Во-первых, он не экстенсивный (энергия растет быстрее, чем объем). Эквивалентность ансамблей не выполняется, и хорошо известно, что микроканоническая теплоемкость отрицательна. Аналогичное, но не совсем такое же поведение обнаружено для энтропии черной дыры, предложенной Бекенштейном . В данном случае величиной, играющей роль энтропии, является площадь горизонта событий Черной Дыры. Хотя было показано, что эта энтропия разделяет многие свойства термодинамической энтропии и может быть оценена в рамках теории струн путем подсчета вырождения подходящих состояний, ее связь с термодинамической энтропией еще предстоит установить.

А беспорядок?

Остается обсудить связь между энтропиями (во множественном числе) и беспорядком.

С каждой энтропией можно связать определенное понятие беспорядка . Но нетрудно догадаться, что в общем-то не для всех будет одинаково.

Единственный беспорядок, связанный с термодинамической энтропией, — это беспорядок, связанный с тем, как экстенсивные количества хранятся в разных подсистемах одного и того же макроскопического состояния. В термодинамике хорошо упорядоченное макроскопическое состояние — это состояние, в котором экстенсивные величины пространственно сконцентрированы. Максимальный беспорядок совпадает с разбросом экстенсивных переменных состояния, чтобы обеспечить одинаковые температуру, давление и химический потенциал в каждом подобъеме.

В рамках классической статистической механики беспорядок можно связать с количеством доступных микросостояний в фазовом пространстве. Заметьте, однако, что этот беспорядок , вообще говоря, не имеет ничего общего с обычным определением пространственного порядка. Причина связана с неинтуитивной ролью межчастичных взаимодействий и с тем, что статистико-механическая энтропия связана с подсчетом числа микросостояний.

Вероятно, наиболее тесной связью с обычным значением беспорядка является алгоритмическая энтропия. Но это также самое трудное для оценки и самое далекое от термодинамической энтропии.

Небольшой постскриптум

Педагогическая иллюстрация полного разделения между конфигурационным порядком и энтропией исходит из формулы Сакура-Тетрода для классической энтропии идеального газа . Он показывает, что энтропия прямо пропорциональна массе атомов, а доступное пространство конфигураций и вероятность каждой пространственной конфигурации одинаковы.

Причина, по которой у энтропии так много описаний, не в том, что она была разработана для этого. Никто не начинал со всех этих вещей, называемых энтропией.

Энтропия началась с одной вещи. А потом обнаружилось, что куча других вещей связана, как математически, так и физически, с этой вещью.

Давным-давно было замечено, что вся полезная энергия в конечном итоге превращается в бесполезное и рассеянное тепло. Этот процесс был назван энтропией. Они знали, что это произошло. Они не знали почему.

Итак, это начало. Первоначальное название энтропии было просто описанием чего-то, что происходит всякий раз, когда вы ковыряетесь во вселенной и смотрите, что происходит. Эта Энергия становится бесполезным отработанным теплом.

Любое другое определение энтропии связано либо с тем, что это был способ описать, почему или как это происходит, либо с тем, что математика совпадала с другой энтропийной математикой. И на удивление часто эта математическая цепочка на самом деле имеет физический смысл.

Это известно как неразумная эффективность математики в естественных науках ; математические закономерности продолжают объяснять вещи о Вселенной, и наивно это очень удивительно и необоснованно.

Итак, вернемся к энтропии. Начнем с наблюдательной науки. Эта штука с отработанным теплом:

Было замечено , что тепло переходит от горячих предметов к холодным. Это было математически смоделировано с такими значениями, как температура и тепловой поток. Это закон энтропии, согласно которому тепловая энергия течет от горячих предметов к холодным, а не наоборот. Из него вы можете генерировать безумное количество описательной силы о вселенной.

Затем появляется Больцман, который берет этот «тепловой поток» и описывает его более абстрактно. Он описывает «макросостояния»; то, что мы можем описать в выбранной нами шкале. Вы делите свое описание того, что может произойти, на набор макросостояний (сколько хотите или меньше).

В каждом макросостоянии есть много-много неразличимых (в нашем масштабе) «микросостояний», которые производят «одно и то же» макросостояние.

Микросостояние является микросостоянием, потому что, хотя оно и отличается от других микросостояний, оно не имеет значения, когда мы изначально описывали наши макросостояния.

Например, «в комнате стоит стол» — это макросостояние. Царапины на столе, точное расположение в нем термита, текущая скорость атома углерода в геометрическом центре стола — все это не описывается моим макросостоянием. Итак, мы называем все фактические физические состояния, которые мы сгруппировали в это макросостояние, микросостояниями.

Если вы подсчитаете эти микросостояния в каждом макросостоянии, вы обнаружите, что закрытая система почти всегда переходит в более распространенные «макросостояния» из более редких. И этого достаточно, чтобы описать передачу энергии от горячих предметов к холодным; количество микросостояний в двух прохладных объектах безумно больше, чем количество микросостояний, описывающих один горячий и один холодный объект.

Это странно. Но, как оказалось, когда мы на самом деле идем и подсчитываем, сколько состояний имеет данное макросостояние, вместо того, чтобы получить «стол в комнате имеет 10 миллиардов состояний» и «обломки стола имеют 15 миллиардов состояний», т. е. два цифры относительно похожи, мы получаем что-то сумасшедшее, например, «коробка с щебнем$10^{1000000}$раз больше микросостояний, чем таблица». (точное число неточно, дело в том, что это смехотворно огромный фактор, а не маленький)

Это настолько верно, что в конечном итоге мы измеряем количество микросостояний путем логарифмирования. Таким образом, мы получаем, что стол имеет энтропию X, а щебень имеет энтропию X+1000000. Только еще миллион единиц энтропии; но поскольку это в экспоненциальном масштабе, это на самом деле$10^{1000000}$раз больше состояний.

Это статистическое описание энтропии соответствует предыдущему — оно объясняет, почему тепловая энергия течет от горячих объектов к холодным и почему полезная энергия в конечном итоге излучается в виде «бесполезного» рассеянного отработанного тепла.

Странный. Но недостаточно странно. Теперь все становится странно.

Далеко от математики кто-то работал над предметом под названием «Теория информации». Это полезно для таких вещей, как выяснить, как передать больше информации по проводу или радиосигналу; сколько можно отправить? Можете ли вы улучшить этот протокол с помощью того, который отправляет больше? Как исправить ошибки, вызванные случайным шумом? Учитывая английское предложение, музыкальное произведение или изображение, насколько сильно вы можете его сжать, чтобы впоследствии получить исходный текст?

Шеннон сгенерировал меру информации в системе. И, что несколько удивительно, в конечном итоге это работает так же, как физическая энтропия; одни и те же математические уравнения управляют обоими из них. И, работая, вы можете связать информационную энтропию Шеннона со статистической энтропией Больцмана физическими способами.

Оттуда вы получаете дальнейшие абстракции и ремиксы. Вещи, которые «ведут себя как» энтропия в новом домене, называются энтропией . И часто при обратном соединении с макроскопической физикой и передачей тепла это одно и то же явление и делается вывод о том, что «энергия имеет тенденцию становиться бесполезной, рассеивать тепло».

Теперь часть вашего замешательства заключается в том, что вы оглядываетесь на Большой взрыв и говорите: «Но это было состояние действительно низкой энтропии!».

И да, это было. У нас будет гораздо более низкая энтропия, чем во Вселенной, когда произошел Большой Взрыв.

Почему произошел Большой Взрыв? Это не объясняется энтропией. Энтропия говорит нам, почему Большой взрыв ведет к нам, и почему Большой взрыв должен быть точкой чрезвычайно низкой энтропии. Не каждая часть реальности объясняется каждой частью научной теории. Чтобы исследовать «происхождение» Большого Взрыва, вам придется использовать больше, чем законы энтропии.

Энтропия относится к закрытой системе; части этой системы могут иметь пониженную энтропию, но только за счет увеличения энтропии в других частях системы. Снежинки или Люди не противоречат законам Энтропии, потому что в обоих случаях они сформировались как часть большей системы.

Кроме того, ваше информационное описание задом наперед. Энтропия — это мера того, сколько информации потребуется для полного описания системы, и она никогда не уменьшается. Это означает, что Большой взрыв как состояние с низкой энтропией является простейшей фазой Вселенной для полного описания.

Теперь это «полное описание» имеет тенденцию быть чрезвычайно скучным. Вы делаете что-то вроде описания местоположения и движения каждой отдельной частицы по отдельности (здесь я игнорирую КМ; у нее есть свое собственное определение энтропии, которое непротиворечиво, но я не собираюсь здесь его рассматривать). Когда у вас есть комната, полная газа, скачущего в случайном порядке, это сложнее описать, чем такое же количество частиц, расположенных в регулярной сетке.

Предположим, мы возьмем комнату, полную газа, заморозим его и вырежем причудливую скульптуру из полученного кристалла. Для нас форма, которую принимает кристалл, более интересна , чем скучная «комната, полная газа». Но полное описание этой хрустальной статуи оказывается безумно простым; частицы более ограничены в положении и скорости, они образуют регулярную сетку вместо хаотического газа. Точная форма кристалла не требует столько информации, но ограничивает количество состояний, в которых могут находиться атомы. Это состояние с очень низкой энтропией, когда ты полностью все описываешь.

Нам просто наскучила комната газа, но интересует хрустальная статуя, поэтому мы больше говорим о статуе, чем о комнате газа.

Людям часто нравятся вещи с низкой энтропией. Наш мозг умеет сопоставлять образы, а вещи с низкой энтропией имеют множество образцов. Вещи с высокой энтропией имеют тенденцию быть «скучными» мазками, поскольку ограничение вещей шаблоном — это огромное сокращение позиций, в которых могут находиться частицы атомного масштаба.

Давайте бетонировать.

Так почему мы не можем разбить яйцо?

Трюк «макро/макросостояние» немного забавен. Вопреки нашей интуиции, макросостояния с высокой энтропией имеют безумно большое количество микросостояний по сравнению с состояниями с низкой энтропией. Когда мы преобразуем энтропию в число, мы логарифмируем количество микросостояний. Таким образом, каждая «единица» энтропии представляет собой экспоненциальное увеличение числа микросостояний.

Ситуация с «высокой» энтропией может иметь энтропию на тысячи или миллионы единиц больше; теперь возьми eи возведи его в миллионную степень. Во сколько раз больше число микросостояний имеет высокоэнтропийное макросостояние.

Если переход из одного состояния в другое близок к равномерному, переход из макросостояния с X раз$10^{1000000}$больше состояний обратно в состояние с X состояний будет, ну, маловероятно . И это то, что происходит, когда вы хотите разбить яйцо. Состояний «разбитых яиц» просто смехотворное количество, а состояний «целых яиц» очень и очень мало. Падение яйца на пол нарушает несколько стабильное макросостояние «неразбитое яйцо» и переводит его в случайное состояние в комбинированном состоянии (разбитое яйцо + неразбитое яйцо).

Переход от комбинированного состояния (неразбитое яйцо + разбитое яйцо) обратно к неразбитому яйцу требует, чтобы мы достигли одного из этих X состояний среди X раз.$10^{1000000}$комбинированные разорванные и неразрывные состояния.

Итак, теперь вы кормите курицу разбитым яйцом (ну, много разбитых яиц). И выходит единственное неразбитое яйцо. Как?

Курица берет молекулы с еще низкой энтропией из разбитого яйца и использует их «упорядоченную» энергию, чтобы упорядочить другие молекулы внутри себя. Этот двигатель излучает тепло — энергию с высокой энтропией — и концентрирует некоторые материалы с низкой энтропией внутри курицы. Эти материалы с низкой энтропией, в свою очередь, превращаются в отходы с высокой энтропией и используются для создания других материалов с низкой энтропией (новых клеток, создания мембран, которые концентрируют кальций, заставляют кровь, несущую сахара и кислород, идти к клетке, которая вырастет в яйцо, расшифрует ДНК в РНК и РНК в белки и т.д.).

Поглотив кучу низкоэнтропийной материи и превратив ее в высокоэнтропийное тепло и отходы (какашки!), он берет немного материи и превращает ее в яйцо.

Этот процесс не на 100% эффективен. Эта курица произвела больше энтропии в отходах, чем разница между сырьем и готовым яйцом. Замкнутая система с курицей, которая откладывает яйцо, а вы затем скармливаете яйцо курице, не может производить новые яйца без того, чтобы биологический двигатель курицы не повредил сам себя.

Обычно входом в этот процесс является кормление кур растительными материалами, которые, в свою очередь, превращают CO2 в воздухе в низкоэнтропийные растительные вещества, поглощая низкоэнтропийный солнечный свет.

Солнце, в свою очередь, производит свет, поглощая водород с низкой энтропией и превращая его в гелий с более высокой энтропией. Необходимость сделать это подпитывалась гравитационным коллапсом, когда неоднородность межзвездного газа заставляла некоторые из них слипаться, излучать тепло при падении (это тепло представляет собой энергию с высокой энтропией), втягивать больше газа и расти до тех пор, пока центр был горячим и находился под достаточным давлением, чтобы начать синтез.

Водородное топливо для Солнца осталось от Большого взрыва с низкой энтропией. В начале Большого взрыва было слишком жарко, чтобы нейтроны и протоны оставались слипшимися. Когда он остыл, они начали сплавляться, но скорость охлаждения была настолько быстрой, что не весь водород превратился в гелий, и не было достаточно времени при необходимом давлении и температуре, чтобы сплавить все в железо (самая высокая энтропия атомного ядра). нейтронов и протонов).

Представьте мир как чрезвычайно крутой склон, который также чрезвычайно, чрезвычайно длинный.

Скатываются вниз по склону валуны. Эти валуны отскакивают от земли, теряя энергию. При этом они теряют поступательный импульс.

Но они на склоне, поэтому тоже падают. Это держит их в движении.

Попытка заставить валун катиться в гору посреди этой лавины безумно сложно. Заставить его катиться вниз очень легко.

Теперь вы можете даже использовать валун для создания узора, но этот узор также должен катиться вниз по склону; он не может оставаться неподвижным. Склон слишком крутой.

Вселенная, насколько мы можем судить, представляет собой чрезвычайно крутой наклон энтропии после Большого взрыва. Мы собираем оставшуюся низкоэнтропийную материю — в основном водород — после Большого взрыва, преобразуем ее в низкоэнтропийный свет, превращаем его в углеродные растения, хороним все это и заставляем распадаться на углеводороды, сжигаем эти углеводороды для работы наших угольных электростанций, заставьте его вибрировать электронами для производства электроэнергии, используйте его для преобразования алюминиевой руды в чистый металл и запустите машины, которые штампуют банки из него, затем откройте банку и выпейте из нее немного чистой воды.

Каждый из этих урожаев подобен использованию энергии одного из этих падающих валунов (поскольку мы сами тоже падаем), чтобы добиться цели.

Общее выражение для энтропии системы, находящейся в конкретном макросостоянии, через$\Omega$, количество микросостояний, связанных с этим макросостоянием.

Вышеупомянутое будет работать для всех случаев!

Вы должны задавать разные вопросы для всех сомнений. Следующее может быть полезно

• Какова была энтропия Вселенной во время Большого Взрыва?
• Что такое энтропия на самом деле?
• Интуитивное объяснение энтропии
• Почему образование снежинки не нарушает второй закон термодинамики?

Снежинка действительно весьма упорядочена. Существует меньше способов, которыми кучка молекул воды может составить снежинку, чем способов, которыми они могут составить каплю воды, при этом все они движутся повсюду.

Но это означает только то, что снежинка образуется в процессе, который вызывает увеличение энтропии где-то еще. Замерзающая вода выделяет тепло — это тепло увеличивает энтропию окружающей среды. То же верно и для живых организмов: они представляют собой очень упорядоченную материю, но ценой поедания и, таким образом, разрушения большего количества материи.

tl;dr – невежество Энтропии. Вот и все. Остальные описания являются приблизительными и/или частными случаями. Этот частичный ответ указывает на то, что энтропия является субъективной, а не контекстно-независимой, чтобы помочь решить общую проблему путаницы.

Энтропия не реальна.

Энтропия модельно-субъективна, включая контекст/субъективность наблюдателя. Это не настоящая, универсальная ценность; он не существует независимо от контекста. Понимание этого поможет избежать путаницы по поводу очевидных противоречий.

Мысленный эксперимент, который обычно неправильно истолковывают.

Мысленный эксперимент:

1. Рассмотрим идеальный газ в стеклянном сосуде. В начальный момент на одной стороне гелий, на другой неон.

2. С началом времени мы склонны ожидать, что газы смешаются в достаточно однородную смесь, что часто описывается как состояние с высокой энтропией.

3. Иногда газ самопроизвольно расслаивается, и гелий и неон снова разделяются, например, как в начальный момент времени.

4. Вернулась ли энтропия к своему первоначальному значению?

Вот в чем дело: энтропия не реальна. Он принадлежит модели, а не реальной физической системе. Так что то, что делает реальная физическая система, не имеет значения, потому что энтропия никогда не касалась этой реальной физической системы.

Скорее, энтропия сказала бы нам, что по прошествии сколь угодно долгого времени можно предсказать, что система будет справедливо выбрана из ансамбля возможных состояний, к которым можно прийти, подавляющее большинство которых не перемешано. Это не нарушается расслоением системы, поскольку оно предсказывает расслоение как возможное (хотя и редкое) состояние.

Если экспериментатор наблюдает за системой, которая, по его мнению, имеет максимальную энтропию, и обнаруживает, что она разделена, то он может снова рассматривать эту физическую систему как имеющую низкую энтропию. Это, опять же, не противоречие: они просто построили новую модель, основанную на физических наблюдениях. Старая модель, которая в то же время предсказывает максимальную энтропию, также по-прежнему действительна. Эти модели могут существовать одновременно, не противореча друг другу (хотя, очевидно, мы предпочитаем более информативную модель).

Вывод: Энтропия субъективна, а не реальна.

Энтропия — это огромная тема, затрагивающая множество вещей. В конечном счете, это квалификация невежества, которая может быть определена формально, хотя и обернута множеством конкретных механик, которые заставляют слово « энтропия » подразумевать дополнительные вещи в разных контекстах.

Предложение этого ответа состоит в том, чтобы сосредоточиться на его субъективности: это всегда касается контекстно-зависимой модели наблюдателя, а не систем реального мира. Не забывайте, что расслоенный газ можно без противоречия считать либо максимальной энтропией, либо минимальной энтропией, в зависимости от контекстуальной системы отсчета наблюдателя.

Связанный: Вероятность не реальна.

Вероятности также не реальны, что может быть лучшей отправной точкой, чем энтропия (поскольку вероятность немного проще).

Довольно забавный вопрос был

• " Как объяснить, что выигрыш в лотерею - это не распределение 50/50? " ,

в котором ребенок ОП думал, что вероятность выигрыша в лотерею составляет 50%. Самое смешное, что, как бы странно это ни казалось, ребенок был прав! Не то, чтобы я рекомендовал кому-либо покупать лотерейные билеты, а скорее то, что ребенок правильно применил статистические рассуждения обычным способом, получив оправданный (хотя и забавный) результат.

Критика оценки с вероятностью 50% будет заключаться не в том, что она неверна в техническом смысле, а скорее в том, что она недостаточно информирована. Это похоже на оценку « смешанного идеального газа с максимальной энтропией »: она верна, просто плохо информированы о наблюдении, что газ расслоился.

Короче говоря, я бы предложил подумать о том, как работают вероятности и почему они по своей сути субъективны. Это может быть хорошо связано с определением энтропии.

Мысленный эксперимент: проблема Монти Холла.

Проблема Монти Холла — это забавный мысленный эксперимент поп-культуры, который также демонстрирует субъективную вероятность.

По сути:

1. Есть игровое шоу с 3 дверями, за одной из которых приз.

2. Участник выбирает дверь, затем ведущий убирает одну из других дверей, за которой не было приза.

3. Участнику разрешается переключиться со своего текущего выбора на другую, оставшуюся дверь. Должны ли?

Видимо, некоторые люди не переключаются. Они думают, что вероятность реальна (независима от контекста), и, поскольку оставшаяся дверь была такой же вероятной, как и их первоначальный выбор, шансы не улучшатся при переключении.

Конечно, они упускают из виду важное наблюдение: две другие двери вместе имели 2 шанса из 3 быть правильными, и, поскольку неправильная дверь была удалена, участник может получить этот шанс 2 из 3, выбрав оставшаяся дверь. Напротив, их нынешняя дверь по-прежнему имеет шансы только 1 к 3.

Урок, на котором следует сосредоточиться, заключается в том, что вероятность/энтропия/и т. д. принадлежат не реальной физической системе, а скорее ее моделям.

Я думаю, само количество ответов на этот вопрос говорит вам, что это не простой вопрос. Хотя было бы глупо добавлять (еще один) ответ в кучу, я хотел дать (еще один) немного другую точку зрения.

Я думаю, что проблема не в том, что энтропия плохо определена или определена неоднозначно . Энтропия имеет четкое и точное определение. Учитывая функцию плотности вероятности$p(x)$это зависит от некоторых переменных$x$, энтропия

Однако типичный способ, которым мы вычисляем и используем энтропию, требует от нас делать дальнейший выбор, и в разных приложениях каждый будет делать разные выборы.

• Во-первых, чтобы вычислить энтропию для заданного распределения (другими словами, чтобы сделать приведенный выше интеграл), нам нужно указать пространство возможных состояний (нам нужно знать все возможные значения$x$), и нам нужна мера${\rm d} x$на этом пространстве. Чтобы определить это пространство, нам может потребоваться рассмотреть ограничения , чтобы определить, считается ли данное состояние «возможным» или нет.

• Во-вторых, нас обычно не интересует энтропия как таковая. Нас интересует нахождение функции плотности вероятности, которая максимизирует энтропию. Чтобы максимизировать энтропию, нам нужно указать, какое пространство функций плотности вероятности мы собираемся максимизировать.

В физике (особенно в термодинамике / статистической механике) нас обычно интересуют распределения вероятностей в пространстве микросостояний системы. Например, для газа мы бы определили распределение вероятностей для каждой возможной конфигурации газа — для каждой возможной позиции и импульса для каждой молекулы газа.

Как упоминалось выше, мы должны учитывать ограничения, накладываемые на систему. Можно считать, что система имеет фиксированную полную энергию и число частиц. Тогда распределения вероятностей будут только функциями микросостояний с заданной энергией и числом частиц. Результирующее распределение вероятностей, которое максимизирует энтропию при этом ограничении, называется микроканоническим ансамблем. Можно также считать, что энергия системы может изменяться, но число частиц фиксировано ( канонический ансамбль), или что энергия и число частиц могут изменяться ( гранд-канонический ансамбль).ансамбль). В зависимости от пространства разрешенных микросостояний распределение вероятностей, максимизирующее энтропию, будет различным. Это неудивительно — когда вы изменяете пространство «разрешенных» распределений, неудивительно, что вы обнаружите, что максимумы энтропийного «ландшафта» изменяются — однако это может сбивать с толку, потому что часто обозначения и язык скрывают этот факт. что энтропия зависит от дополнительных фрагментов информации, помимо тех, которые явно указаны в приведенной выше формуле.

Отойдя от газа, можно вычислить энтропию для многих различных физических систем, включая раннюю Вселенную. Однако нужно будет подумать о подходящем фазовом пространстве и, в частности, о подходящей мере , используемой для подсчета микросостояний (это особая проблема в физике ранней Вселенной). Также должно быть ясно, что энтропию можно применять в нефизических контекстах; например, вычисление энтропии текстового файла сводится к оценке вероятностных распределений определенных комбинаций букв. Понятие энтропии будет зависеть от того, как вы определяете пространство «разрешенных» букв и слов.

Еще одним потенциальным источником путаницы является то, что в физике часто делаются определенные упрощения или ограничения, которые полностью корректны в контексте. Но если книга использует их в качестве отправной точки (что часто является хорошей идеей с педагогической точки зрения), связь с определением, данным выше, может быть неясной. В физических приложениях распределение вероятностей, которое максимизирует энтропию, присваивает равный вес всем микросостояниям. В этом случае,$p(x)=p$является константой, не зависящей от$x$. На самом деле мы можем написать$p=1/\Omega$, где$\Omega$- общее количество микросостояний. В этом случае интеграл энтропии сводится к обычному «больцмановскому» виду

Получив это, вы можете использовать статистическую механику, чтобы вывести типичные правила, которым подчиняется переменная состояния, называемая энтропией в классической термодинамике.

Приведенные определения в вашем вопросе на самом деле сосредоточены на эволюции энтропии с течением времени, а не на самой энтропии. Я упоминаю об этом, потому что важно, чтобы мы разделяли эти вещи в ходе обсуждения.

Вероятно, каждый, кто хочет понять концепцию энтропии, а не просто запомнить формулы, сталкивается с высказываемым вами мнением: обычно предлагаемые определения оставляют человека неуверенным, лишенным интуиции.

Я съеживаюсь каждый раз, когда слышу, как кто-то использует популярное определение энтропии, связанное с беспорядком . Как вы говорите, это определение просто оставляет человека неудовлетворенным необходимыми вопросами: «Что такое порядок ?» и "Что такое беспорядок ?" Это черепахи на всем пути вниз! Действительно ли загроможденная комната менее упорядочена, чем комната, которую мы чувствуем прибранной? Когда люди используют это описание, они на самом деле пытаются описать то, что происходит с энтропией с течением времени в закрытой системе, а не то , что такое энтропия . т.е. есть гораздо больше способов считать комнату «грязной», чем выпрямленной. Следовательно, грязная комната имеет значительно более высокую вероятность, и со временем она, естественно, станет еще более грязной без вмешательства.

Я предлагаю две ссылки, которые в совокупности дадут вполне удовлетворительные ответы на все ваши вопросы об энтропии.

1. Термодинамика Энрико Ферми (очень легко доступна)
2. Теплофизика Чарльза Киттеля и Герберта Кремера , 2-е издание, WH Freeman and Company, 1980 г.

Термодинамика Ферми содержит удивительно краткий, но полный вывод классической концепции энтропии, наряду с выводом отношений между различными формами энергии. В нем кратко упоминается вывод Больцмана$S = k\space log(\pi)$где k - постоянная Больцмана, а$\pi$пропорциональна вероятности занятия того или иного состояния. Без вывода последнего это все еще оставляет человека без интуиции того, что такое энтропия.

Для понимания того, что такое энтропия, достаточно первой (!) страницы, 2-го абзаца ссылки 2 с совершенно кратким описанием энтропии: «Энтропия измеряет число квантовых состояний, доступных системе».

Далее говорится:

Замкнутая система может находиться в любом из этих квантовых состояний и (мы предполагаем) с равной вероятностью. Фундаментальный статистический элемент, фундаментальное логическое допущение состоит в том, что квантовые состояния либо доступны, либо недоступны для системы, и система с одинаковой вероятностью может находиться в любом одном доступном состоянии, как и в любом другом доступном состоянии. Для g доступных состояний энтропия определяется как$\sigma = log\space g$. Определенная таким образом энтропия будет функцией энергии$U$, количество частиц$N$, и объем$V$системы, поскольку эти параметры входят в определение$g$; могут входить и другие параметры. Использование логарифма представляет собой математическое удобство: его легче записать$10^{20}$чем$exp(10^{20})$, и для двух систем естественнее говорить о$\sigma_{1}+\sigma_{2}$чем$g_{1} g_{2}$.

Когда две системы, каждая из которых имеет определенную энергию, вступают в тепловой контакт, они могут передавать энергию; их общая энергия остается постоянной, но ограничения на их индивидуальную энергию снимаются. Перенос энергии в одном или, возможно, в другом направлении может увеличить произведение$g_{1} g_{2}$который измеряет количество доступных состояний комбинированных систем. Фундаментальное предположение искажает результат в пользу того распределения полной энергии, которое максимизирует число доступных состояний: чем больше, тем лучше и более вероятно . Это утверждение является ядром закона возрастания энтропии, который является общим выражением второго закона термодинамики.

Теперь, как мы, в принципе, получаем число квантовых состояний? По счету, конечно.

Я упоминаю третью ссылку

3. Основы статистической и теплофизики Ф. Рейфа

с целью описания методов подсчета в первых двух главах и теоремы H, полученной в Приложении, которая описывает в терминах вероятности эволюцию энтропии во времени, а также строгий вывод фундаментальных понятий статистической физики.

По сути, энтропия — это мера относительного числа возможных состояний системы. Это общая нить, связывающая все приведенные вами примеры. То, что энтропия должна увеличиваться, следует из определения вероятности: чем более вероятно что- то (чем больше состояний, представляющих это что-то ), тем чаще это что-то будет происходить в динамической системе (по мере развития системы во времени); то есть что-то будет происходить прямо пропорционально чему -тоВероятность — эволюция энтропии во времени — это просто переформулировка определения вероятности. Чтобы уменьшить энтропию, требуется вмешательство, специально предназначенное для достижения состояния с меньшей вероятностью. Однако промежуточный агент (не обязательно быть разумным существом) должен получать больше энтропии (или производить за счет тепла), чем он извлекает.

Поскольку предыдущие ответы довольно хорошо объясняют концепцию, я попытаюсь сделать то же самое, хотя и с точки зрения непрофессионала —
отступление (можете пропустить эту часть, если вы знакомы с концепцией «доступных квантовых состояний» в статистической физике) — На странице нет.$10$Кита Стоу «Введение в термодинамику и статистическую механику » общее число доступных состояний в классическом фазовом пространстве определяется очень интуитивным выражением:
$\Omega = \frac{V_r V_p}{\hbar ^3}$, где -$V_r$= доступный объем в координатном пространстве,$V_p$= доступный объем в импульсном пространстве &$\hbar$= уменьшенная постоянная Планка (кстати, именно так квантовая неопределенность естественным образом проникает в статистическую физику).
Возвращаясь к основному вопросу, на стр. 331, автор определяет общее количество доступных квантовых состояний как -
$\Omega = \exp{S_R /k} \rightarrow S_R = k (ln \Omega)\rightarrow(1)$
где -$S_R$= энтропия системы &$k$= постоянная Больцмана.
Грубо говоря из уравнения (1), энтропия системы пропорциональна количеству доступных квантовых состояний (вот что такое энтропия!)$\rightarrow$чем больше доступное пространство (координата/импульс), тем выше энтропия, выше беспорядок (поскольку у конкретной частицы будет больше возможностей выбора для размещения в ней – так что «порядок» не означает хорошо организованное / упорядоченный внешний вид, но относится к числу доступных квантовых состояний в$V_r$&$V_p$), то есть, просто глядя на систему снаружи, мы не можем сказать, имеет ли она более низкую или более высокую энтропию, чем раньше, потому что это очень микроскопическое понятие (количество доступных состояний является микроскопическим понятием) .
Из приведенного выше обсуждения - даже если у вас есть очень ограниченный пространственный объем, его энтропия все равно может считаться высокой, если в ней много свободных состояний импульса/энергии (по сравнению с идентичной системой, но с большей частью ее состояний импульса/энергии). уже заполнено). Кроме того, существует доказанный закон, что энтропия всегда должна увеличиваться (свойство, которое она разделяет со «временем», которое также движется только в одном направлении).
Что касается вашего вопроса о Большом взрыве (пункты № 2 и 3) , то Большой взрыв не нарушает закон энтропии, поскольку (координатное) объемное пространство ($V_r$) Вселенной с тех пор (Большой Взрыв) только увеличился.
Для снежинок вы говорите, Потому что для меня снежинка - идеальный пример порядка. - «порядок» (как упоминалось выше) не означает хорошо устроенный/упорядоченный внешний вид, а относится к числу доступных квантовых состояний в$V_r$&$V_p$. В снежинке энтропия льда на самом деле выше, потому что существует много разных способов упорядочения протонов (атомов водорода), если мы знаем количество атомов кислорода в решетке , следовательно, снежинка имеет более высокий беспорядок (или энтропию) по сравнению с к воде для низких температур, при которых происходит образование снежинок, и для точки №. 4 на «Modes» , что вы подразумеваете под однородными состояниями, которые были наиболее многочисленными возможными состояниями. ,откуда вы знаете, что они были наиболее многочисленны, и что здесь подразумевается под "равномерностью", поясните, пожалуйста?
Давайте перейдем к определениям энтропии, упомянутым в вашем вопросе, один за другим -

• Энтропия = беспорядок, а системы стремятся к максимально возможному беспорядку - объяснено выше в ответе.
• Энтропия = распределение энергии, и системы стремятся к наиболее возможному распределению энергии - это, по сути, означает, что конкретная частица имеет более высокую вероятность занять то состояние, которое имеет более высокую частоту возникновения = например. если система имеет больший спин-ап ($|\uparrow \rangle$) состояния доступны, чем состояния со вращением вниз ($|\downarrow \rangle$), то частица имеет более высокую вероятность того, что спин будет направлен вверх, а не вниз.
• Энтропия = информация, необходимая для описания системы, а системы, как правило, описываются меньшим количеством строк = это предложение кажется немного неполным, но в основном интерпретируется как означающее$\rightarrow$большее количество штатов$\rightarrow$больше информации, необходимой для описания системы (для правильного понимания этого утверждения потребуются предыдущие + последующие строки).
• Энтропия = статистический режим, и система имеет тенденцию переходить в микроскопическое состояние, которое является одним из самых распространенных возможных состояний, которыми она может обладать. = это то же самое, что описано в$2^{nd}$пункт выше.

PS - Под квантовым состоянием мы подразумеваем его объем ($V_r = dxdydz$&$V_p = dp_x dp_y dp_z$) не может быть известен за пределами точности$\hbar ^3$.