En estadística i teoria de la probabilitat , la matriu de covariància és una matriu que conté la covariància entre els elements d'un vector. És la generalització natural a dimensions superiors del concepte de variància d'una variable aleatòria escalar .[1]
Si les entrades del vector-columna
X
=
[
X
1
⋮
X
n
]
{\displaystyle X={\begin{bmatrix}X_{1}\\\vdots \\X_{n}\end{bmatrix}}}
són variables aleatòries, cadascuna amb variància finita, llavors la matriu de covariància Σ és la matriu l'entrada ( i , j ) és la covariància
Σ
i
j
=
I
[
(
X
i
−
μ
i
)
(
X
j
−
μ
j
)
]
{\displaystyle \Sigma _{ij}=\mathrm {I} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}}
on
M
i
=
I
(
X
i
)
{\displaystyle \mathrm {M} _{i}=\mathrm {I} (X_{i})\,}
és el valor esperat de l'entrada i -èsima del vector X . En altres paraules, tenim
Σ
=
[
E
[
(
X
1
−
μ
1
)
(
X
1
−
μ
1
)
]
E
[
(
X
1
−
μ
1
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
1
−
μ
1
)
(
X
n
−
μ
n
)
]
E
[
(
X
2
−
μ
2
)
(
X
1
−
μ
1
)
]
E
[
(
X
2
−
μ
2
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
2
−
μ
2
)
(
X
n
−
μ
n
)
]
⋮
⋮
⋱
⋮
E
[
(
X
n
−
μ
n
)
(
X
1
−
μ
1
)
]
E
[
(
X
n
−
μ
n
)
(
X
2
−
μ
2
)
]
⋯
E
[
(
X
n
−
μ
n
)
(
X
n
−
μ
n
)
]
]
.
{\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}.}
L'anterior definició és equivalent a la igualtat matricial
Σ
=
I
[
(
X
−
I
[
X
]
)
(
X
−
I
[
X
]
)
⊤
]
{\displaystyle \Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]}
Per tant, s'entén que això generalitza a majors dimensions el concepte de variància d'una variable aleatòria escalar X , definida com
Σ
2
=
v
a
r
(
X
)
=
I
[
(
X
−
μ
)
2
]
,
{\displaystyle \Sigma ^{2}=\mathrm {var} (X)=\mathrm {I} [(X-\mu )^{2}],\,}
on
M
=
I
(
X
)
.
{\displaystyle \mathrm {M} =\mathrm {I} (X).\,}
Per
Σ
=
I
[
(
X
−
I
[
X
]
)
(
X
−
I
[
X
]
)
⊤
]
{\displaystyle \Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]}
μ
=
I
(
X
)
{\displaystyle \mu =\mathrm {I} ({\textbf {X}})}
Σ
=
I
(
X
X
⊤
)
−
μ
μ
⊤
{\displaystyle \Sigma =\mathrm {I} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }} }
Σ
{\displaystyle \mathbf {\Sigma } }
semidefinida positiva
var
(
A
X
+
a
)
=
A
var
(
X
)
A
⊤
{\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A^{\top }} }
cov
(
X
,
I
)
=
cov
(
I
,
X
)
⊤
{\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {I} )=\operatorname {cov} (\mathbf {I} ,\mathbf {X} )^{\top }}
cov
(
X
1
+
x
2
,
I
)
=
cov
(
X
1
,
I
)
+
cov
(
x
2
,
I
)
{\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {x_{2}} ,\mathbf {I} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {I} )+\operatorname {cov} (\mathbf {x_{2}} ,\mathbf {I} )}
Si els vectors
X
{\displaystyle \mathbf {X} }
I
{\displaystyle \mathbf {I} }
var
(
X
+
I
)
=
var
(
X
)
+
cov
(
X
,
I
)
+
cov
(
I
,
X
)
+
var
(
I
)
{\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {I} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {I} )+\operatorname {cov} (\mathbf {I} ,\mathbf {X} )+\operatorname {var} (\mathbf {I} )}
cov
(
A
X
,
B
Y
)
=
A
cov
(
X
,
I
)
B
⊤
{\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {BY} )=\mathbf {A} \,\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\,\mathbf {B} ^{\top }}
Si
X
{\displaystyle \mathbf {X} }
I
{\displaystyle \mathbf {I} }
cov
(
X
,
I
)
=
0
{\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {I} )=0}
on
X
,
X
1
{\displaystyle \mathbf {X} ,\mathbf {X_{1}} }
x
2
{\displaystyle \mathbf {x_{2}} }
(
p
×
1
)
{\displaystyle \mathbf {(p\times 1)} }
I
{\displaystyle \mathbf {I} }
(
q
×
1
)
{\displaystyle \mathbf {(q\times 1)} }
a
{\displaystyle \mathbf {a} }
(
p
×
1
)
{\displaystyle \mathbf {(p\times 1)} }
A
{\displaystyle \mathbf {A} }
B
{\displaystyle \mathbf {B} }
(
p
×
q
)
{\displaystyle \mathbf {(p\times q)} }
La matriu de covariància (encara que molt simple) és una eina molt útil en diversos camps. A partir d'ella es pot derivar una transformació lineal que pot de-correlacionar les dades o, des d'un altre punt de vista, trobar una base òptima per representar les dades de forma òptima (vegeu quocient de Rayleigh per la prova formal i altres propietats de les matrius de covariància). Això es diu anàlisi del component principal (PCA per les seves sigles en anglès) en estadística, i transformada de Karhunen-Loev a processament de la imatge .
![{\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4beea93452c5b3887191b930c55a68dcc822dae5)
![{\displaystyle \Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5f41cc88b17acbd9e948bb1429710a4457423144)
![{\displaystyle \Sigma ^{2}=\mathrm {var} (X)=\mathrm {I} [(X-\mu )^{2}],\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3bfebf3c3a54ecc36241de44de62accc92daca30)
