(Шелдон Росс) Доказательство независимости выборочного среднего и выборочной дисперсии

Очевидно. Дух.

Просто шучу. Итак, чтобы добавить немного к тому, что сказал автор, есть несколько вещей, которые вы должны собрать вместе, чтобы понять.

• Прежде всего,$X_i - \overline X$для$i=1,\cdots,n$и$\overline X$вместе представляют собой линейную комбинацию$X_1, \cdots, X_n$, и поэтому имеют совместное многомерное нормальное распределение. Если бы вы написали матрицу, она выглядела бы примерно так

  $$\begin{bmatrix} 1-\frac1n & -\frac 1n & \cdots & -\frac 1n \\ - \frac 1n & 1-\frac1n & \ddots & \vdots \\ \vdots & \ddots & \ddots & - \frac 1n \\ - \frac 1n & \cdots & - \frac 1n & 1-\frac1n \\ \frac 1n & \cdots & \cdots & \frac 1n \end{bmatrix}$$ с$i^{\text{th}}$строка, соответствующая$X_i$и$(n+1)^{\text{th}}$грести к$\overline X$. Это верно независимо от матрицы, я просто вычислил ее для удобства, чтобы вы знали, о чем мы говорим.

• Если вы позволите$Y$быть нормальной случайной величиной со средним значением$\mu$и дисперсия$\sigma^2/n$, затем$\{Y, X_1 - \overline X,\cdots,X_n - \overline X \}$имеет то же совместное многомерное распределение, что и$\{ \overline X, X_1 - \overline X, \cdots, X_n - \overline X \}$. Это связано с тем, что многомерное распределение$\{Y,X_1 - \overline X,\cdots,X_n - \overline X\}$определяется его ожиданиями и ковариационной матрицей (независимо от$Y$, если совместное распределение является многомерным нормальным). В случае$Y$, ковариационная матрица выглядит так:

  $$\begin{bmatrix} \mathrm{Var}(X_1) & 0 & \cdots & 0 \\ 0 & \ddots & \ddots & \vdots \\ \vdots & \ddots & \mathrm{Var}(X_n) & 0 \\ 0 & \cdots & 0 & \mathrm{Var}(Y) \end{bmatrix}$$ Записи вне диагонали равны 0, потому что$X_i$независимы друг от друга, поэтому$X_i - \overline X$; нули в последней строке и последнем столбце есть, потому что$Y$является независимым от всех$X_i$, следовательно, и$X_i - \overline X$, который является просто линейной комбинацией$X_i$.

Ситуация несколько иная для$\{\overline X, X_1 - \overline X, \cdots, X_n - \overline X\}$; имеем следующую матрицу:

• Следовательно, поскольку$\mathrm{Var}(\overline X) = \frac{\sigma^2}n = \mathrm{Var}(Y)$, и$Y$не зависит от$X_i$, делаем вывод, что$\overline X$не зависит от$X_i$потому что совместное распределение$\{Y,X_1 - \overline X, \cdots, X_n - \overline X\}$и$\{\overline X, X_1 - \overline X, \cdots, X_n - \overline X\}$одинаковы. Это объединяет кучу вещей:
  • Многомерные нормальные распределения определяются их математическим ожиданием и ковариационной матрицей.
  • Если$Y$не зависит от$X_i$, то она не зависит от$X_i - \overline X$.
  • $\{Y, X_1 - \overline X, \cdots, X_n - \overline X\}$и$\{\overline X, X_1 - \overline X, \cdots, X_n - \overline X\}$имеют одинаковое многомерное нормальное распределение (посмотрите на их ковариационную матрицу и используйте первый факт в этом списке).
  • Совместное многомерное распределение двух многомерных переменных$\{X_1,\cdots,X_n\}$и$\{Y_1,\cdots,Y_m\}$определяет их независимость (если вы можете факторизовать распределение как продукт $$F_{X_1,\cdots,X_n,Y_1,\cdots,Y_m}(x_1,\cdots,x_n,y_1,\cdots,y_m) = F_{X_1,\cdots,X_n}(x_1,\cdots,x_n) F_{Y_1,\cdots,Y_m}(y_1,\cdots,y_m)$$ что эквивалентно определению независимости).

Объедините все эти вещи вместе, и вы увидите, что$\overline X$не зависит от$X_1 - \overline X, \cdots, X_n - \overline X$.

Факт ничего не стоит: если вы посмотрите на линейное преобразование, которое посылает$(x_1,\cdots,x_n)$к$(x_1 - \overline x, \cdots, x_n - \overline x)$, это карты$\mathbb R^n$в$(n-1)$-мерное подпространство$\mathbb R^n$, подпространство тех векторов, для которых сумма координат равна нулю. Есть еще одно линейное преобразование, которое отправляет$(x_1,\cdots,x_n)$к$(\overline x, \cdots, \overline x)$, т. е. одномерное подпространство, натянутое на среднее (если оно, конечно, не равно нулю, но это пространство, в которое попадает среднее, натянутое на вектор$(1,\cdots,1)$). Из-за свойств многомерного распределения ортогональность этих двух векторов подразумевает, что они не коррелированы (из-за способа вычисления ковариации) и, следовательно, независимы (из-за того, что мы обсуждали выше). (Это еще одно доказательство вашего беспокойства, принимая$(Y_1,\cdots,Y_m) = (\overline X, \cdots, \overline X)$с$n=m$.)

Надеюсь, это поможет,

В предыдущем предложении или двух сказано, что$Y$не зависит от$X_i$, поэтому он не зависит от$X_i-\bar X$(До нашей эры$\bar X$является функцией$X_i$). С$Y, X_i -\bar X$имеет то же распределение, что и$\bar X, X_i-\bar X$, это значит, что$\bar X$не зависит от$X_i-\bar X$.

Альтернативное доказательство следующее: в гауссовой модели$\overline{X}_n$это CSS (полная и достаточная статистика) для$\mu$пока$\frac{(n-1)S_n^2}{\sigma ^2}\sim \chi_{(n-1)}^2$таким образом, выборочная дисперсия является вспомогательной для$\mu$.

Здесь мы можем применить теорему Басу, заключающую, что