Должен ли скептик рассматривать анекдот как доказательство?

Вероятно, вам действительно следует спросить где-нибудь, кто занимается статистикой.

Но краткий ответ таков: да, анекдоты могут быть информативными. Они не могут быть проверены , так как есть только один из них, но они все еще могут быть очень наводящими на размышления. Однако это верно только в стиле Шерлока Холмса: когда вы исключили невозможное, все, что остается, каким бы невероятным оно ни было, должно быть правдой. Это также работает, если «невозможно» просто означает «намного, гораздо менее вероятно, чем «как бы маловероятно»».

Интуиция довольно ясна. Проглатывание модели ракетного двигателя размером с батарею не должно вызывать взрыва. Это может сделать их больными (вероятно, ядовитыми) или причинить им вред, но не взорваться. Но люди на самом деле не сильно взрываются.

Предположим, однажды вы видите, как кто-то проглатывает модель ракетного двигателя, а затем взрывается. Черт возьми, вам даже не нужно это видеть, если вы знаете, что это произошло из какого-то надежного источника (то есть гораздо более вероятно, что это произошло, как бы странно это ни было, чем то, что ваш источник неверен).

Теперь вы думаете: ну, люди не взрываются при нормальных обстоятельствах; было бы невероятно невероятно странно, если бы всего за эти несколько секунд после того, как он проглотил модель ракетного двигателя, он взорвался бы по какой-то другой странной причине. Так что, возможно, модели ракетных двигателей действительно могут заставить кого-то взорваться.

Вы можете количественно оценить это с помощью байесовской статистики (и обнаружить, что она действительна, по крайней мере, при разумном распределении априорных значений).

Проблема с анекдотами заключается в том, что люди обычно недооценивают вероятность того, что рассказ ошибочен, или не понимают, что в мире семь миллиардов человек, и всякие вещи случаются случайно, и мы выбираем кажущиеся странными вещи, чтобы обратить внимание на них. к. Так что если вам нужно эмпирическое правило: игнорируйте анекдоты. Но если вы хотите быть статистически точным: да, они содержат информацию (и, возможно, могут оправдать ваше изменение вашей модели того, что вероятно, совсем немного *).

* ^{(Добавление - самый яркий случай, когда анекдот имеет огромную силу, - это единичный случай чего-то, о чем говорят, что это совершенно невозможно. Например, если "все вороны черные", а вы видите белого ворона, это довольно хорошее доказательство против «все вороны черные». Конечно, на самом деле это может быть не ворон, поэтому без тщательного расследования это не является окончательным, но отдельные примеры могут иметь большое значение для фальсификации утверждений.)}

Цель сбора информации – получение знаний. Цель статистики состоит в том, чтобы измерить уровень уверенности в знаниях, которые мы получаем из информации. Этот уровень уверенности пропорционален количеству наблюдаемых событий. Меньше событий, меньше уверенности. Одно событие, очень мало уверенности.

Вы также должны учитывать, насколько точно каждый анекдот согласуется с другими. В целом вариации анекдотов велики из-за различий в настройке, а также в результатах. Одна из самых больших проблем с анекдотами заключается в том, что они неконтролируемы, и вы действительно не знаете всех входных данных, а количество входных данных, которые могут повлиять на результат, часто огромно. Без дополнительной информации обычно трудно превратить эту информацию в полезные знания.

Возьмем, к примеру, что кто-то съел определенное растение и излечился от определенной болезни. Затем другой человек также ест это растение и излечивается от той же болезни. Если это все, что вы знаете, то это почти бесполезно, потому что эти люди также ели много других вещей и делали, возможно, другие вещи, которые все могли вызвать эффект, индивидуально или вместе.

Я также повторю мысль о байесовской статистике. Важно, чтобы вы учитывали предварительные знания в любой статистике. Если что-то считается вероятным, вам нужно меньше доказательств, чтобы «доказать» это. Точно так же «чрезвычайные утверждения требуют экстраординарных доказательств». Неспособность сделать это хорошо характерна для социальных и медицинских наук, в основном из-за того, что существует так много входных факторов и так трудно контролировать исследования (подумайте о контроле над исследованием об убийстве — вы не можете провести это исследование с этической точки зрения, поэтому вы должны наблюдать за неконтролируемым миром). Но это относится и ко всем неподтвержденным свидетельствам.