Matriu de covariància

En estadística i teoria de la probabilitat, la matriu de covariància és una matriu que conté la covariància entre els elements d'un vector. És la generalització natural a dimensions superiors del concepte de variància d'una variable aleatòria escalar.

Definició

Si les entrades del vector-columna

$X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

són variables aleatòries, cadascuna amb variància finita, llavors la matriu de covariància Σ és la matriu l'entrada ( i , j ) és la covariància

$\Sigma_{ij} = \mathrm{I}\begin{bmatrix} (X_i - \mu_i) (X_j - \mu_j) \end{bmatrix}$

on

$\Mu_i = \mathrm{I}(X_i) \,$

és el valor esperat de l'entrada i -èsima del vector X . En altres paraules, tenim

$\Sigma = \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}.$

Com una generalització de la variància

L'anterior definició és equivalent a la igualtat matricial

$\Sigma = \mathrm{I} \left [ \left ( \textbf{X}- \mathrm{I}[\textbf{X}] \right) \left ( \textbf{X}- \mathrm{I}[\textbf{X}] \right)^\top \right]$

Per tant, s'entén que això generalitza a majors dimensions el concepte de variància d'una variable aleatòria escalar X , definida com

$\Sigma^2 = \mathrm{var}(X) = \mathrm{I}[(X-\mu)^2], \,$

on

$\Mu = \mathrm{I}(X). \,$

Propietats

Per $\Sigma = \mathrm{I} \left [ \left (\textbf{X}- \mathrm{I}[\textbf{X}] \right) \left (\textbf{X}- \mathrm{I}[\textbf{X}] \right)^\top \right]$ i $\mu = \mathrm{I}(\textbf{X})$, les següents propietats fonamentals es demostren correctes:

1. $\Sigma = \mathrm{I}(\mathbf{XX^\top}) - \mathbf{\mu}\mathbf{\mu^\top}$
   
   
2. $\mathbf{\Sigma}$ és semidefinida positiva
   
   
3. $\operatorname{var}(\mathbf{AX}+\mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X}) \, \mathbf{A^\top}$
   
   
4. $\operatorname{cov}(\mathbf{X}, \mathbf{I}) = \operatorname{cov}(\mathbf{I}, \mathbf{X})^\top$
   
   
5. $\operatorname{cov}(\mathbf{X_1}+\mathbf{x_2}, \mathbf{I}) = \operatorname{cov}(\mathbf{X_1}, \mathbf{I})+\operatorname{cov}(\mathbf{x_2}, \mathbf{I})$
   
   
6. Si els vectors $\mathbf{X}$ i $\mathbf{I}$ són d'igual dimensió, llavors $\operatorname{var}(\mathbf{X}+\mathbf{I}) = \operatorname{var}(\mathbf{X})+\operatorname{cov}(\mathbf{X}, \mathbf{I})+\operatorname{cov}(\mathbf{I}, \mathbf{X})+\operatorname{var}(\mathbf{I})$
   
   
7. $\operatorname{cov}(\mathbf{AX}, \mathbf{BY}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{I}) \, \mathbf{B}^\top$
   
   
8. Si $\mathbf{X}$ i $\mathbf{I}$ són independents, llavors $\operatorname{cov}(\mathbf{X}, \mathbf{I}) = 0$
   
   

on $\mathbf{X}, \mathbf{X_1}$ i $\mathbf{x_2}$ són vectors aleatoris de dimensió $\mathbf{(p \times 1)}$, $\mathbf{I}$ és un vector aleatori $\mathbf{(q \times 1)}$, $\mathbf{a}$ és $\mathbf{(p \times 1)}$, $\mathbf{A}$ i $\mathbf{B}$ són matrius de $\mathbf{(p \times q)}$.

La matriu de covariància (encara que molt simple) és una eina molt útil en diversos camps. A partir d'ella es pot derivar una transformació lineal que pot de-correlacionar les dades o, des d'un altre punt de vista, trobar una base òptima per representar les dades de forma òptima (vegeu quocient de Rayleigh per la prova formal i altres propietats de les matrius de covariància). Això es diu anàlisi del component principal (PCA per les seves sigles en anglès) en estadística, i transformada de Karhunen-Loev a processament de la imatge.

Lectures avançades

• Covariance Matrix a MathWorld
• Van Kampen, N. G. Teoria processes in physics and chemistry . New York: North-Holland, 1981.