Оценка погрешности при измерениях с высоким стандартным отклонением

Обычно такие задачи не решаются простым применением простой статистики. Стандартное отклонение может быть не особенно полезным в качестве индикатора. Например, во время наводнения действие волн может сильно отличаться от действия в более устойчивых условиях.

Вам также необходимо знать общий характер процесса наводнения. Приток в озеро повышает уровень по всему озеру. Ветер, толкающий воду в одну сторону, совсем другой, но все же может затопить часть берега озера. Водный лыжник, приближающийся слишком близко к причалу, может вызвать 1-метровую волну через причал, что, вероятно, не должно привести к срабатыванию вашей системы предупреждения о наводнениях.

Нужна хотя бы минимальная модель общей воды в озере, оцененная по измерениям уровня. Возможно, вам потребуется несколько измерений уровня в разных местах. Вы должны иметь их с течением времени, чтобы получить скорость изменения воды в озере.

Тогда вам нужно придумать способ борьбы с шумом. Стандартное отклонение может быть полезным, но может и не быть. Существует множество измерений тренда. Например, есть скользящие средние.

https://en.wikipedia.org/wiki/Скользящее_среднее

На этой странице также есть ссылки на множество других возможностей.

Когда у вас есть модель общего количества воды в озере, вам потребуются тестовые данные для ее проверки. Вам нужно будет получить реальные наблюдения и сравнить их с тем, когда было наводнение. Если ваша модель является точным временем для какого-то праздника. Если ваша модель не точна, вернитесь к работе.

Предполагая нормальное распределение, вероятность появления новой выборки$n\sigma$за пределами среднего$p_{outside}(s)$фиксированный.

Вы можете увидеть, как это используется в таблице здесь https://en.wikipedia.org/wiki/68%E2%80%9395%E2%80%9399.7_rule .

Следовательно, перед объявлением флуда выберите значение$n$это дает вам достаточную уверенность.

Образец с$1\sigma$отклонение с вероятностью 32% связано с ошибкой (большая волна).

Популярно работать примерно до

$3\sigma$(0,027% или вероятность естественного появления каждые 370 проб)

но важные результаты обычно подтверждаются

$6\sigma$(0,000000002% или вероятность естественного появления каждые 500 000 000 проб).

или выше.

Устранение ошибок измерения поможет добиться более узкого распределения, повысив достоверность.

Например, я получил среднее значение h=123,2 см после 100 измерений, но поскольку вода всегда движется, стандартное отклонение высокое, около 20 см. В этом примере могу ли я сказать, что уровень воды h=123,2±0,1 см, или я могу сказать только h=120±20 см, потому что стандартное отклонение равно 20 см?

Это тот случай, когда фактический просмотр данных проясняет, что происходит. Вот некоторые данные, которые имеют характеристики, которые вы даете: среднее значение 123,2 см и стандартное отклонение$\sigma = 20\rm\,cm$. Я предположил нормальное распределение, но вы можете выбрать другое распределение, если хотите. Эти тысячи нанесены на график в зависимости от числа измерения:

Штриховые линии соответствуют нулю,$\pm1\sigma$,$\pm2\sigma$, и$\pm3\sigma$от среднего. Вы можете видеть, что большая часть данных находится в$\pm1\sigma$диапазон вокруг среднего, и почти все данные лежат в пределах$\pm2\sigma$. Только очень редкие точки лежат за пределами$\pm3\sigma$группа. Снаружи оказывается ровно три измерения.$\pm3\sigma$полоса (около середины и все по бокам, приближающиеся к 200 см), что кто-то, кто плохо знаком с этим делом, может принять как подтверждение утверждения в другом ответе, что 99,7% нормально распределенных точек данных лежат в пределах$\pm3\sigma$среднего. Но тот факт, что я получил ровно три «выброса» и что все выбросы оказались высокими, является случайностью: три выброса по трем сигмам на тысячу точек — это среднее значение по многим тысячам точек данных, и любой конкретная тысяча точек данных может иметь несколько больше или меньше трех выбросов.

Если я сверну эти данные в гистограмму, это будет выглядеть так:

Вы можете видеть здесь, что измерение 130 см вовсе не редкость; этот набор данных содержит пятьдесят или шестьдесят измерений в корзине вместо измерения 130 см. когда ты говоришь мне$(123.2\pm20)\rm\,cm$, я слышу "обычно между 100 см и 140 см".

Что, возможно, не интуитивно понятно, так это то, что вы знаете больше о среднем значении, чем о каком-либо конкретном измерении. «Стандартная ошибка среднего» выглядит как$\sigma/\sqrt N$, где$\sigma$- стандартное отклонение распределения и$N$- количество выборок, включенных в вычисление среднего значения. Например, этот набор данных имеет$\sigma = 20\rm\,cm$и$N=1000$, поэтому неопределенность среднего$\sigma/\sqrt N = 0.6\rm\,cm$. Фактическое среднее значение, которое я вычисляю из этих тысяч точек данных, равно$(123.3 \pm 0.6)\rm\,cm$, что полностью согласуется со средним значением 123,2 см, которое я вставил вручную.

Чтобы лучше увидеть разницу между шириной распределения и неопределенностью среднего значения, вот гистограммы из десяти разных наборов по 1000 измерений в каждом, сгенерированные так же, как и выше:

Среднее значение каждого набора данных представлено толстой синей точкой. Слева, где вы можете видеть весь дистрибутив, вы едва можете сказать, что не все средства одинаковы. Справа, где показаны только средние значения, видно, что оценка неопределенности$\sigma/\sqrt N = 0.6\rm\,cm$выглядит как хорошая оценка неопределенности среднего значения, поскольку около двух третей средних значений находятся в пределах одной планки погрешности от правильного значения. Это похоже на метастатистику: сбор статистики по средним значениям и стандартным отклонениям нескольких наборов данных.

Это общая схема со статистикой: имеет больше смысла, если вы действительно можете играть с некоторыми данными, когда вы уже знаете некоторые вещи, которые вас интересуют.