Распределение совместной гауссовой зависимости от их суммы

Пусть A — детерминированная матрица размера$n\times n$и разреши$v$быть вектором размера$n$. Случайный вектор$(AX, S)$вместе это нормально. Идея состоит в том, чтобы построить оба

1. матрица$A$такой, что$AX$не зависит от$S$, и
2. вектор$v$такой, что$X = AX + Sv$.

Почему? Тогда по независимости мы имеем кристально чистое описание распределения$X$данный$S=s$: Распределение$X$данный$S=s$нормально

$$N(sv + A\mu, A\Sigma A^T)$$ .

Теперь найдем такой$A$и$v$.

• С$(AX,S)$вместе являются нормальными,$AX$не зависит от$S$тогда и только тогда, когда их ковариационная матрица равна нулю, т. е.$E[A(X-\mu)(S - E[S])]=0$. Если$u=(1,...,1)\in R^n$, это эквивалентно$E[A(X-\mu)(X-\mu)^T u] = A\Sigma u= 0$.
• Для$v$, отношение$X=AX +vS$удовлетворяется при условии, что$I_n = A + vu^T$, где опять$u$это вектор$(1,...,1)$. С$A\Sigma u =0$, умножив это на$\Sigma u$подразумевает, что $$v = \frac{1}{u^T\Sigma u} \Sigma u.$$ Теперь установите $$A = I_n - v u^T.$$ Легко убедиться, что такой выбор$A$действительно удовлетворяет$A\Sigma u = 0$, и мы построили$A$и$v$которые удовлетворяют требованиям.

---

В более общем плане: распределение$X$данный$UX=b$для некоторой матрицы$U$

Если$U$это$k\times n$матрица рангов$k$и мы хотели бы найти распределение$X$условно на$UX$, ту же технику можно расширить.

(В приведенном выше примере$U$является$1\times n$матрица равна$u^T$.)

Действуем аналогично: ищем детерминированную матрицу$A$и$n\times k$матрица$C$такой, что

1. $AX$и$UX$являются независимыми, и
2. $I_n = A + CU$так что$X = AX + CUX$всегда держит.

Почему? Если мы сможем найти такие матрицы$A$и$C$, то распределение$X$данный$UX=b$нормально

$$N(A\mu + Cb, A^T\Sigma A).$$

С$AX$и$UX$совместно Нормальны, первое условие выполняется тогда и только тогда, когда$E[A(X-\mu)(U(X-\mu))^T] = A\Sigma U^T = 0$. Умножая второе условие на$\Sigma U^T$, должно быть так$\Sigma U^T = C U \Sigma U^T$, следовательно

$$C = \Sigma U^T (U\Sigma U^T)^{-1} .$$

Наконец, определите

$$A = I_n - CU,$$ и убедитесь, что этот выбор$A$и$C$действительно удовлетворить$A\Sigma U^T = 0$и вышеуказанные требования.

(Кстати, матрица$U\Sigma U^T$действительно обратим всякий раз, когда$U$имеет полный ранг$k<n$и$\Sigma$обратим. Матрица$\Sigma$обратим тогда и только тогда, когда$X$непрерывное распространение в$R^n$в том смысле, что он имеет плотность по мере Лебега в$R^n$.)

Распределение$(\boldsymbol X | S = s)$все еще вместе нормальный, но вырожденный. Позволять$\boldsymbol T = (1, 1, \dots, 1)^t$и разреши$\boldsymbol X$и$\boldsymbol \mu$также быть векторами-столбцами. Затем$(X_1, \dots, X_n, \boldsymbol T^t \boldsymbol X)$совместно нормально как аффинное преобразование совместно нормального распределения, и мы можем использовать общую формулу для условного распределения компонентов совместно нормального распределения:

$$(\boldsymbol X | \boldsymbol T^t \boldsymbol X = s) \sim \mathcal N \!\left( \boldsymbol \mu + \frac {s - \boldsymbol \mu^t \boldsymbol T} {\boldsymbol T^t \Sigma \boldsymbol T} \Sigma \boldsymbol T, \Sigma - \frac 1 {\boldsymbol T^t \Sigma \boldsymbol T} \Sigma \boldsymbol T (\Sigma \boldsymbol T)^t \right).$$ $\boldsymbol T$является собственным вектором ковариационной матрицы с собственным значением$0$.