Я готовлюсь к экзамену и столкнулся с частотностью. Честно говоря, я ничего не понимаю в этом. Относится ли частотность только к вероятности? Почему вероятности понимаются как частоты? Я думаю, что они отличаются от частот. Кроме того, каковы недостатки частотности?
Извините за вопрос, но я так запутался в этой теме.
Википедия предоставляет полезную информацию об этом запросе, поскольку отмечает вероятностное обоснование частотности (например, см. ссылку 1 ниже). Именно здесь я бы предложил ОП начать свое исследование. Не будучи тем, кто проводит тонкие и жесткие различия между дисциплинами, я хотел бы только отметить, что резюме Вики уводят дискуссию от философии к более математической и статистической области.
Действительно, в последние несколько десятилетий между двумя школами статистиков, одна из которых называла себя частотной , шли религиозные войны , связанные с классическими идеями логического вывода и вероятности, которые обычно преподаются на уроках статистики 101, например, p-значения менее 0,05 инструмент принятия решений — в отличие от байесовцев , которые отвергают эту классическую структуру, заменяя их правдоподобием или силой/степенями уверенности, а не ограничениями. Байесовцы также создали итеративную трехчастную структуру для вывода, основанную на правиле Байеса.(например, см. ссылку 2 ниже), происходящих из предшествующих или «субъективных» предположений и убеждений (обычно определяемых теоретическим статистическим распределением анализируемых данных или информации), за которыми следует эмпирическая оценка вероятности как функции этих предшествующих убеждений и заканчивая суммированием апостериорных результатов той оценки, которая используется для обновления априорных значений. Байесовские подходы к оценке напоминают моделирование и могут требовать значительных вычислительных ресурсов, что делает их громоздкими и медленными при работе с большими объемами данных. Фреквентисты , с другой стороны, категорически возражают против использования субъективных предположений.
Тем не менее, философы науки высказались по этим вопросам. Среди важных вкладов частников — недавняя книга Деборы Мэйо « Статистический вывод как серьезное тестирование: как выйти за рамки статистических войн» . Вот аннотация Амазонки:
Растущие неудачи в воспроизведении в социальных и биологических науках придают новую актуальность критической оценке предлагаемых реформ. Эта книга приоткрывает завесу над разногласиями между экспертами, которым поручено восстановить целостность науки. Он отрицает два широко распространенных взгляда на роль вероятности в выводе: присваивать степени уверенности и контролировать частоту ошибок в долгосрочной перспективе. Если потребители статистических данных не знают о предположениях, лежащих в основе конкурирующих реформ данных, они не могут тщательно изучить последствия, которые на них влияют (в персонализированной медицине, психологии и т. д.). Книга отправляется в плавание с помощью простого инструмента: если мало что было сделано для исключения ошибок в выводах утверждения, значит, она не прошла серьезного испытания. Многие методы, за которые ратуют эксперты по данным, не выдерживают суровой проверки и противоречат успешным стратегиям блокирования или учета сбора вишен и выборочной отчетности. Благодаря серии экскурсий и выставок философия и история индуктивного вывода оживают. Философские инструменты используются для решения проблем науки и лженауки, индукции и фальсификации.
Что касается байесовской стороны, то мне нравится книга Макклоски « Культ статистической значимости: как стандартная ошибка стоит нам рабочих мест, справедливости и жизней» , в которой, среди прочего, содержится резкая критика классической частотной проверки гипотез, разработанной Р. А. Фишером, одним из великих гении статистики 20 века. Опять же, реферат Amazon:
Культ статистической значимости показывает, область за областью, как «статистическая значимость», метод, который доминирует во многих науках, был огромной ошибкой. Авторы обнаруживают, что исследователи в широком спектре областей, от агрономии до зоологии, используют «проверку», которая не проверяет, и «оценку», которая не оценивает. Факты поразят стороннего читателя: как могла группа блестящих ученых уйти так далеко от научных величин? Это исследование вдохновит ученых, которые хотят знать, как вернуть статистические науки в нужное русло и выполнить свои количественные обещания. В книге впервые показано, насколько обширна катастрофа и насколько она вредна для науки, и прослеживается проблема в ее исторических, социологических и философских корнях.
Как и в случае со многими другими человеческими усилиями, в этом споре нет однозначных ответов.
Игроки, актуарии и ученые давно поняли, что относительные частоты тесно связаны с вероятностями.
Частотные интерпретации предполагают самую тесную связь из всех: идентичность. Таким образом, мы можем отождествить вероятность выпадения орла на определенной монете с частотой выпадения орла в подходящей последовательности подбрасываний монеты, деленной на общее количество подбрасываний.
Простая версия частотности, которую мы будем называть конечной частотностью, связывает вероятности с событиями или атрибутами в конечном ссылочном классе таким простым образом :
вероятность атрибута A в конечном ссылочном классе B — это относительная частота фактического появления атрибута A в пределах B.
Таким образом, конечный частотизм имеет определенное структурное сходство с классической интерпретацией, поскольку он придает равный вес каждому члену набора событий, просто подсчитывая, сколько из них «благоприятны» в процентах от общего числа.
Однако принципиальное отличие состоит в том, что классическая интерпретация учитывала все возможные результаты данного эксперимента, а конечная частотность учитывает фактические результаты.
Она была развита Венном (1876 г.), который в своем обсуждении пропорции рождений мужчин и женщин заключает: «вероятность есть не что иное, как эта пропорция» (стр. 84, курсив автора) .
Конечный частотизм остается доминирующим взглядом на вероятность в статистике и в естественных науках в целом. Конечный частотный анализ дает рабочее определение вероятности, и здесь начинаются его проблемы.
Например, точно так же, как мы хотим допустить, что наши термометры могут быть плохо откалиброваны и, таким образом, могут давать вводящие в заблуждение измерения температуры, мы хотим допустить, что наши «измерения» вероятностей с помощью частот могут вводить в заблуждение, как если бы справедливая монета приземляется головой 9 из 10 раз.
Более того, похоже, что в само понятие вероятности заложено то, что могут возникать такие вводящие в заблуждение результаты. Действительно, во многих случаях вводящие в заблуждение результаты гарантированы. Начиная с вырожденного случая:
согласно конечному частотнику , монета, которая никогда не подбрасывается и, таким образом, не дает никаких фактических результатов, вообще не имеет вероятности выпадения орла; тем не менее монета, которую никогда не измеряют, не имеет вследствие этого недостатка в диаметре.
Возможно, еще более тревожным является то, что монета, подброшенная ровно один раз, дает относительную частоту выпадения орла либо 0, либо 1, независимо от ее смещения. Или мы можем представить уникальный радиоактивный атом, вероятность распада которого в различные моменты времени подчиняется непрерывному закону (например, экспоненциальному);
тем не менее, в соответствии с конечным частотным анализом, с вероятностью 1 он затухает точно в то же время, что и на самом деле, поскольку его относительная частота этого распада равна 1/1. Достаточно известные, чтобы заслужить собственное название, это примеры так называемой «проблемы единичного случая». На самом деле, многие события вполне естественно рассматривать не просто как неповторимые, а в строгом смысле слова как неповторимые.
президентские выборы 2000 года, финальная игра плей-офф НБА 2001 года, гражданская война, убийство Кеннеди, некоторые события в очень ранней истории вселенной. Тем не менее кажется естественным думать о неэкстремальных вероятностях, связанных с некоторыми, а возможно, и со всеми из них. Что еще хуже, некоторые космологи считают действительно случайным, является ли наша Вселенная открытой или закрытой (очевидно, определенные квантовые флуктуации могут, в принципе, склонить ее в ту или иную сторону), тем не менее, что бы это ни было, это «единичный случай». в самом сильном смысле.
Проблема отдельного случая особенно поразительна, но на самом деле у нас есть последовательность связанных проблем:
«проблема двойного случая», «проблема тройного случая»… Каждая монета, подброшенная ровно дважды, может дать только относительные частоты 0, 1/2 и 1, независимо от ее смещения… Конечный эталонный класс размера n , каким бы большим ни было n, может производить относительные частоты только на определенном уровне «зернистости», а именно 1/n.
Среди прочего, это исключает иррациональные вероятности; однако наши лучшие физические теории говорят об обратном. Более того, есть смысл, в котором любая из этих проблем может быть преобразована в проблему единичного случая.
Предположим, что мы подбрасываем монету тысячу раз. Мы можем рассматривать это как одиночное испытание из эксперимента с тысячей подбрасываний монеты. Тем не менее, мы не хотим утверждать, что этот эксперимент дает реальный результат с вероятностью 1.
Проблема единичного случая состоит в том, что конечный частотник не может видеть промежуточные вероятности в различных местах, где их видят другие.
Есть и обратная проблема: частотник видит промежуточные вероятности в разных местах, где другие не видят. В нашем мире существует множество различных сущностей с множеством различных атрибутов.
Мы можем сгруппировать их в еще большее количество наборов объектов, а затем спросить, с какой относительной частотой в этих наборах встречаются те или иные атрибуты. Многие такие относительные частоты будут промежуточными; конечный частотник автоматически отождествляет их с промежуточными вероятностями. Но может показаться, что являются ли они подлинными вероятностями, а не простыми подсчетами, зависит от конкретного случая.
Голым отношениям атрибутов среди наборов несоизмеримых объектов может не хватать той модальной силы, которую можно было бы ожидать от вероятностей.
Я принадлежу к эталонному классу, состоящему из меня самого, Эйфелевой башни, самого южного замка из песка на пляже Санта-Моника и горы Эверест. Два из этих четырех объектов имеют высоту менее 7 футов, относительная частота 1/2; более того, мы могли бы легко расширить этот класс, сохранив эту относительную частоту (или, столь же легко, не сохранив).
Тем не менее, было бы странно сказать, что вероятность того, что я буду ростом менее 7 футов относительно этого эталонного класса, равна 1/2, даже если вполне приемлемо (хотя и неинтересно) сказать, что 1/2 объектов в референтный класс меньше 7 футов в высоту.
Некоторые частотщики (в частности, Венн, 1876 г., Райхенбах, 1949 г. и фон Мизес, 1957 г. среди прочих), отчасти в ответ на некоторые из вышеперечисленных проблем, продолжили рассмотрение бесконечных референтных классов, отождествляя вероятности с предельной относительной частотой событий или атрибутов в них.
Таким образом, нам требуется бесконечная последовательность испытаний, чтобы определить такие вероятности .
Но что, если реальный мир не обеспечивает бесконечную последовательность испытаний данного эксперимента? На самом деле, это, по-видимому, норма, а может быть, и правило.
В этом случае мы должны отождествлять вероятность с гипотетической или контрфактической предельной относительной частотой. Мы должны вообразить гипотетические бесконечные продолжения действительной последовательности испытаний;
тогда вероятности равны предельным относительным частотам, если бы последовательность была расширена таким образом. Таким образом, мы могли бы назвать эту интерпретацию гипотетическим частотным анализом.
Обратите внимание, что здесь мы оставили позади эмпиризм. Модальный элемент был введен в частотность с этим обращением к контрфактуалу; более того, контрфактуальность может заключаться в радикальном отклонении от того, как обстоят дела на самом деле, что может даже потребовать нарушения законов природы. (Подумайте, что нужно для того, чтобы монета в моем кармане, подброшенная лишь однажды, была подброшена бесконечно много раз — никогда не изнашиваясь и никогда не иссякая в людях, желающих ее подбросить!) Можно задаться вопросом, кроме того, всегда — или когда-либо — существует факт того, что представляют собой такие контрфактические относительные частоты.
Как мы видели, ограничение относительной частоты должно быть релятивизировано последовательностью испытаний. В этом заключается еще одна трудность. Рассмотрим бесконечную последовательность результатов подбрасывания монеты, например H, T, H, H, H, T, H, T, T, … Предположим для определенности, что соответствующая последовательность относительных частот выпадения орла, начинающаяся с 1 /1, 1/2, 2/3, 3/4, 4/5, 4/6, 5/7, 5/8, 5/9, …, сходится к 1/2.
Подходящим образом переупорядочив эти результаты, мы можем заставить последовательность сходиться к любому значению в [0, 1], которое нам нравится. (Если это не очевидно, подумайте, как относительную частоту четных чисел среди положительных целых чисел, которые интуитивно «должны» сходиться к 1/2, можно вместо этого заставить сходиться к 1/4, переупорядочив целые числа с четными числами в каждом четвертое место следующим образом: 1, 3, 5, 2, 7, 9, 11, 4, 13, 15, 17, 6, …) Безусловно, может быть что-то естественное в заданном порядке бросков — Например,
это может быть их временной порядок. Но естественного порядка может быть несколько. Представьте себе подбрасывание поезда, который движется вперед и назад по рельсам, ориентированным с запада на восток. Тогда пространственное упорядочение результатов с запада на восток может выглядеть совсем иначе. Почему один заказ должен быть привилегированным по сравнению с другими?
Хорошо известное возражение против любой версии частотности состоит в том, что относительные частоты должны быть релятивизированы по отношению к эталонному классу. Рассмотрим вероятность того, что меня волнует, — скажем, вероятность того, что я доживу до 80 лет. Я принадлежу к классу мужчин, классу некурящих, классу профессоров философии, в фамилии которых две гласные буквы, … Предположительно , относительная частота тех, кто доживает до 80 лет, варьируется в зависимости от (большинства) этих эталонных классов.
Какова тогда моя вероятность дожить до 80 лет? Похоже, что единого частотного ответа не существует. Вместо этого есть моя вероятность-как-мужчина, моя вероятность-как-некурящий, моя вероятность-как-мужчина-некурящий и так далее.
Это пример так называемой проблемы референтного класса для частотности (хотя можно утверждать, что аналоги проблемы возникают и для других интерпретаций[9]). И, как мы видели в предыдущем абзаце, проблема только усугубляется ограничением относительных частот : вероятности должны быть релятивизированы не просто к эталонному классу, но и к последовательности внутри эталонного класса. Мы могли бы назвать это проблемой эталонной последовательности.
Началом решения этой проблемы было бы ограничение нашего внимания последовательностями определенного вида, обладающими определенными желательными свойствами .
Например, существуют последовательности, для которых не существует предельной относительной частоты данного признака; Таким образом, Райхенбах исключает такие последовательности. Фон Мизес (1957) дает нам более строгое ограничение на то, что он называет коллективами — гипотетические бесконечные последовательности атрибутов (возможных результатов) определенных экспериментов, отвечающих определенным требованиям. Назовите выбор места эффективно специфицируемым методом выбора индексов элементов последовательности, так что выбор или нет индекса i зависит не более чем от первых i - 1 атрибутов. Аксиомы:
Аксиома конвергенции : существует предельная относительная частота атрибута.
Аксиома случайности: предельная относительная частота каждого атрибута в коллективе ω одинакова в любой бесконечной подпоследовательности ω, которая определяется выбором места. Вероятность атрибута A относительно коллектива ω затем определяется как предельная относительная частота атрибута A в ω. Обратите внимание, что постоянная последовательность, такая как H, H, H, …, в которой предельная относительная частота одинакова в любой бесконечной подпоследовательности, тривиально удовлетворяет аксиоме случайности. Это накладывает некоторую нагрузку на терминологию — навскидку такие последовательности кажутся такими же неслучайными, как и возникают, — хотя, конечно, желательно, чтобы вероятности определялись даже в таких последовательностях. Как бы то ни было, существует параллель между ролью аксиомы случайности в теории фон Мизеса и принципом максимума энтропии в классической теории:
Давайте посмотрим, как обстоят дела с частотными интерпретациями в соответствии с нашими критериями адекватности. Конечные относительные частоты, конечно, удовлетворяют конечной аддитивности. В конечном эталонном классе может произойти только конечное число событий, поэтому только конечное число событий может иметь положительную относительную частоту. В этом случае счетная аддитивность выполняется несколько тривиально: все члены бесконечной суммы, кроме конечного числа, будут равны 0. Предельные относительные частоты нарушают счетную аддитивность (де Финетти 1972, §5.22). Действительно, область определения предельной относительной частоты — это даже не поле, не говоря уже о сигма-поле (де Финетти, 1972, §5.8). Так что такие относительные частоты не дают допустимой интерпретации аксиом Колмогорова.
Конечный частотизм без проблем удовлетворяет критерию доказуемости, поскольку конечные относительные частоты в принципе легко определяются. Этого нельзя сказать об ограничении относительных частот. Напротив, любая конечная последовательность испытаний (в конце концов, это все, что мы когда-либо видим) буквально не накладывает ограничений на предел бесконечной последовательности; еще меньше реальная конечная последовательность накладывает какое-либо ограничение на предел бесконечной гипотетической последовательности, как бы быстро и свободно мы ни играли с понятием «в принципе» в критерии доказуемости.
Может показаться, что частотные интерпретации вполне соответствуют критерию применимости к частотам. Конечный частотный подход соответствует этому слишком хорошо, в то время как гипотетический частотный подход отвечает ему неправильным образом. Во всяком случае, конечный частотизм делает связь между вероятностями и частотами слишком тесной, как мы уже заметили.
Правильная монета, подброшенная миллион раз, вряд ли выпадет решкой ровно в половине случаев; тот, который подкинул миллион и один раз, еще меньше шансов сделать это! Факты о конечных относительных частотах должны служить свидетельством, но не окончательным доказательством для соответствующих оценок вероятностей. Гипотетический частотность не может связать вероятности с конечными частотами.
Это, конечно, связывает их с предельными относительными частотами, но опять же слишком тесно: ведь даже в бесконечных последовательностях они могут разойтись. (Честная монета может вечно падать орлом, даже если это маловероятно.) Безусловно, наука очень интересуется бесконечными частотами, и работа с ними во многом является делом статистики.
Другое дело, заинтересованы ли они в сильно идеализированных, гипотетических расширениях реальных последовательностей и относительных частот в них. Применимость к рациональному мнению во многом аналогична: ясно, что такое мнение руководствуется информацией о конечной частоте, и неясно, что оно руководствуется информацией о пределах гипотетических частот.
Гораздо более обширную критику конечного частотного анализа и гипотетического частотного анализа см. соответственно в Hájek 1997 и Hájek 2009.
Ссылка - https://plato.stanford.edu/entries/probability-interpret/#CriAdeForIntPro
Фрэнк Хьюбени