Топологическая энтропия в цепях Маркова

Учитывая конечную цепь Маркова, как мне найти топологическую энтропию час Т ? Кроме того, я должен сравнить ее с энтропией Шеннона. час С и показать, что час Т ≤ час С . Это общий факт?

На самом деле это происходит из упражнения, конкретная цепь Маркова, используемая там, определяется:

Ом "=" { 1 , 2 , 3 }
с переходными вероятностями
п 1 → 1 "=" 1 − д п 1 → 2 "=" п 1 → 3 "=" д 2
п 2 → 2 "=" 1 − д п 2 → 3 "=" д
п 3 → 1 "=" 1

Книга, из которой взято упражнение, не определяет, что такое топологическая энтропия?

Ответы (1)

Я настоятельно рекомендую две ссылки:

  • статья Янга ( электронная печать ), освещающий концептуальный обзор энтропии в динамических системах;
  • Магистерская диссертация Пекоске за примеры с пошаговыми расчетами.
    (Остерегайтесь опечатки на странице 36: час мю ( о ) ≈ .075489 должен прочесть час мю ( о ) ≈ 0,32451 .)

Топологическая энтропия час Т

как найти топологическую энтропию час Т ?

Из согласованного топологического марковского сдвига .

Данные вероятности перехода соответствуют (левой) матрице перехода:

п "=" ( 1 − д 0 1 д / 2 1 − д 0 д / 2 д 0 ) .

Мы получаем топологический марковский сдвиг (т. е. подсдвиг конечного типа) из исходной цепи Маркова, рассматривая матрицу смежности А совместимый с п (см. посты здесь и этот доклад ):

А "=" ( 1 0 1 1 1 0 1 1 0 ) .

Топологическая энтропия топологического марковского сдвига определяется (см. также эту книгу ( электронная печать )) логарифмом спектрального радиуса (т. е. наибольшего модуля собственного значения, | λ | ) матрицы смежности:

час Т "=" бревно 2 ⁡ | λ | .

Для А выше у нас есть λ "=" 2 и поэтому

час Т "=" 1.

Энтропия Колмогорова-Синая (КС) час К С

Если π - устойчивое состояние цепи Маркова, заданное выражением п , затем

час К С "=" − ∑ я , Дж π я п я Дж бревно 2 ⁡ п я Дж .

Вектор устойчивого состояния π цепи Маркова является собственным вектором, связанным с единичным собственным значением п , нормированный так, что ∑ π я "=" 1 (см. эти примеры ). Для п выше у нас есть

π "=" 1 2 д + 3 ( 2 1 2 д ) .

Это дает, например:

час К С ( д "=" 1 / 2 ) ≈ 1 ,
час К С ( д "=" 1 / 5 ) ≈ 0,75464.

Энтропия Шеннона час С

покажи то час Т ≤ час С . Это общий факт?

Да, я так думаю.

Энтропия Шеннона час С зависит от выбранного раздела и неограничен, поэтому я ожидаю, что оператор (1) час Т < час С быть правильным. Кроме того, возможно иметь (i) час С "=" час К С (например, для сдвига Бернулли ) и имеем (ii) час Т ≥ час К С : из (i) и (ii) мы видим, что возможно (2) час Т "=" час С держит; наконец, из (1) и (2) имеем: час Т ≤ час С .

С точки зрения вероятностей п я , мы можем написать

час С "=" − ∑ я п я бревно 2 ⁡ п я .

Вычисление энтропии Шеннона с использованием п вероятности установившегося состояния, π я , получаем, например:

час С ( д "=" 1 / 2 ) ≈ 1.5.
час С ( д "=" 1 / 5 ) ≈ 1.3328.

Хороший ответ! Могу я спросить, каков рецепт написания матрицы перехода? (и почему?) Наивно я бы записал $p_{ij} = p_{i\to j}, который является треугольным с наибольшим собственным значением 1, что дает нулевую энтропию
@JohnDonne, спасибо. Наибольшее собственное значение, которое вам нужно для час Т имеет матрицу смежности А , а не из матрицы перехода п . О том, как писать п , дело в соглашении: та, которую вы упомянули, — это правая матрица перехода, самая обычная в математике (см. здесь ), а затем стохастические векторы — это строки; для работы с матрицами я больше привык к векторам-столбцам, которые, я думаю, распространены в физике и соответствуют левой матрице перехода п я Дж "=" п я ← Дж .
Да, конечно, моя ошибка. Я скопировал неправильную матрицу перехода. Спасибо!
Топологическая энтропия в цепях Маркова
СпросиСетьПолитика конфиденциальности1y, 0v