Distribució de Wishart

Esperança matemàtica del logaritme de X

Distribució de Wishart

Tipus	distribució matriu gamma i distribució Wishart complexa
Epònim	John Wishart
Notació	X ~ Wp(V, n)
Paràmetres	n > p − 1 graus de llibertat (real) V > 0 matriu d’escala (p × p def. positiva)
Suport	X(p × p) matriu definida positiva
fdp	${\frac {|\mathbf {X} |^{\frac {n-p-1}{2}}e^{-{\frac {{\rm {tr}}(\mathbf {V} ^{-1}\mathbf {X} )}{2}}}}{2^{\frac {np}{2}}|{\mathbf {V} }|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}$ Γp és la funció gamma multivariada tr és la funció traça
Esperança matemàtica	nV
Moda	(n − p − 1)V per a n ≥ p + 1
Variància	$\operatorname {Var} (\mathbf {X} _{ij})=n\left(v_{ij}^{2}+v_{ii}v_{jj}\right)$
FC	$\Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}$
Mathworld	WishartDistribution

En Estadística, la distribució de Wishart és una generalització de la distribució khi quadrat a múltiples dimensions, o en el cas dels graus de llibertat no sencers de la distribució gamma. S’anomena  així en honor a John Wishart, qui va formular per primera vegada la distribució l'any 1928.

És una família de distribucions de probabilitat definides sobre matrius simètriques, definides no negatives amb valors de variables aleatòries ("matrius aleatòries"). Aquestes distribucions són de gran importància en l'estimació de matrius de covariància en estadística multivariant.

Definició

Suposem que X és una matriu n × p, de la que cada fila s’obté de forma independent d'una distribució normal p-variada amb mitjana zero:

$X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})\sim N_{p}(0,V).$

La distribució de Wishart és la distribució de probabilitat de la matriu p × p aleatòria S = X^T X coneguda com la matriu de dispersió. Hom indica que S té aquesta distribució de probabilitat escrivint:

$S\sim W_{p}(V,n).$

El nombre enter positiu n és el nombre de graus de llibertat. En certes ocasions això s'escriu com W(V, p, n). Per n ≥ p la matriu S és invertible amb probabilitat 1 si V és invertible.

Si p = V = 1 llavors aquesta distribució és una distribució khi-quadrat amb n graus de llibertat.

Ocurrència

La distribució de Wishart correspon a la distribució de la matriu de covariància d’una mostra de la distribució normal multivariada. Apareix amb freqüència en les proves de la raó de versemblança en l'anàlisi estadística multivariada. També es es dóna en la teoria espectral de matrius aleatòries i en l'anàlisi bayesiana multidimensional. També apareix en telecomunicacions en l'anàlisi de les característiques de l’esvaniment de Rayleigh en canals MIMO.

Funció densitat de probabilitat

La distribució de Wishart es pot caracteritzar per la seva funció de densitat de probabilitat de la següent manera:

Sigui X una matriu simètrica p × p de variables aleatòries definida positiva.

Sigui V una matriu (fixada) definida positiva de mida p × p.

Llavors, si n ≥ p, X segueix una distribució de Wishart amb n graus de llibertat si té una funció de densitat de probabilitat donada per:

${\frac {1}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}{\left|\mathbf {X} \right|}^{\frac {n-p-1}{2}}e^{-{\frac {1}{2}}{\rm {tr}}({\mathbf {V} }^{-1}\mathbf {X} )}$

on $\left|{\mathbf {X} }\right|$ és el determinant i Γ_p (·) és la funció gamma multivariant definida com:

$\Gamma _{p}\left({\tfrac {n}{2}}\right)=\pi ^{\frac {p(p-1)}{4}}\Pi _{j=1}^{p}\Gamma \left({\tfrac {n}{2}}+{\tfrac {1-j}{2}}\right)$

De fet, aquesta definició es pot estendre a qualsevol valor real n > p – 1. Si n ≤ p – 1 llavors ja no segueix una distribució de Wishart sinó que en lloc seu representa una distribució singular que pren valors en un subespai de dimensió inferior a l’espai de les matrius p × p.

Ús en Estadística Bayesiana

En estadística bayesiana i en el context de la distribució normal multivariable, la distribució de Wishart és el conjugat previ de la matriu de precisió Ω = Σ ^-1, on Σ és la matriu de covariància.

Selecció dels paràmetres

L’adequada distribució de Wishart prèvia s'obté fixant n = p. La mitjana prèvia de W_p (V, n) és nV, el que suggereix que una opció raonable per a V ^{– 1} seria n Σ₀, on Σ₀ és una estimació prèvia de la matriu de covariància.

Propietats

Esperança matemàtica del logaritme de X

Considerem la següent expressió:

$\operatorname {E} [\ln |\mathbf {X} |]=\psi _{p}(n/2)+p\ln(2)+\ln |\mathbf {V} |$

on $\psi _{p}$ és la funció digamma multivariada (la derivada del logaritme de la funció gamma multivariant).

Això juga un paper important en les derivacions variacionals bayesianes per a xarxes de Bayes que involucren la distribució de Wishart.

Entropia

L'entropia d'informació de la distribució té la següent expressió:

$\operatorname {H} [\mathbf {X} ]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\frac {np}{2}}$

on B(V, n) és la constant de normalització de la distribució:

$B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{\frac {n}{2}}2^{\frac {np}{2}}\Gamma _{p}({\frac {n}{2}})}}$

Això es pot expandir com:

${\begin{aligned}\operatorname {H} [\mathbf {X} ]&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\left(\psi _{p}\left({\tfrac {n}{2}}\right)+p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\psi _{p}\left({\tfrac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {p+1}{2}}\ln |\mathbf {V} |+{\tfrac {1}{2}}p(p+1)\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\psi _{p}\left({\tfrac {n}{2}}\right)+{\tfrac {np}{2}}\end{aligned}}$

Entropia creuada

L'entropia creuada de dues distribucions de Wishart amb els paràmetres p₀, n₀, V₀ i p₁, n₁, V₁ és:

${\begin{aligned}H(p_{0},p_{1})&=\operatorname {E} _{p_{0}}[-\log p_{1}]\\&=\operatorname {E} _{p_{0}}\left[-\log {\frac {|\mathbf {X} |^{\frac {n_{1}-p-1}{2}}e^{-{\frac {\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )}{2}}}}{2^{\frac {n_{1}p}{2}}|\mathbf {V} _{1}|^{\frac {n_{1}}{2}}\Gamma _{p}({\tfrac {n_{1}}{2}})}}\right]\\&={\tfrac {n_{1}p}{2}}\log 2+{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}|+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\operatorname {E} _{p_{0}}[\log |\mathbf {X} |]+{\tfrac {1}{2}}\operatorname {E} _{p_{0}}[\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )]\\&={\tfrac {n_{1}p}{2}}\log 2+{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}|+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\left(\psi _{p}({\tfrac {n_{0}}{2}})+p\log 2+\log |\mathbf {V} _{0}|\right)+{\tfrac {1}{2}}\mathrm {tr} (\mathbf {V} _{1}^{-1}n_{0}\mathbf {V} _{0})\\&=-{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\tfrac {p+1}{2}}\log |\mathbf {V} _{0}|+{\tfrac {n_{0}}{2}}\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\psi _{p}({\tfrac {n_{0}}{2}})+{\tfrac {p(p+1)}{2}}\log 2\\\end{aligned}}$

Que quan p₀ = p₁ equival a l’entropia.

Divergència K-L

La divergència de Kullback-Leibler de p₁ donat p₀ és

$D_{KL}(p_{0}\|p_{1})=H(p_{0},p_{1})-H(p_{0})=-{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\tfrac {n_{0}}{2}}(\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})-p)+\log {\frac {\Gamma _{p}({\tfrac {n_{1}}{2}})}{\Gamma _{p}({\tfrac {n_{0}}{2}})}}+{\tfrac {n_{0}-n_{1}}{2}}\psi _{p}({\tfrac {n_{0}}{2}})$

Funció característica

La funció característica de la distribució de Wishart és

$\Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}.$

En altres paraules:

$\Theta \mapsto \operatorname {E} \left[\mathrm {exp} \left(i\mathrm {tr} (\mathbf {X} {\mathbf {\Theta } })\right)\right]=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}$

on E[⋅] indica l'esperança matemàtica. (Aquí Θ i I són matrius de la mateixa mida que V (I és la matriu identitat), i i és l'arrel quadrada de -1).

Teorema

Si una matriu p × p aleatòria X té una distribució Wishart amb m graus de llibertat i la matriu de variància V – escrita com $\mathbf {X} \sim {\mathcal {W}}_{p}({\mathbf {V} },m)$ - i C és una matriu q × p de rang q, llavors,

$\mathbf {C} \mathbf {X} {\mathbf {C} }^{T}\sim {\mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} }^{T},m\right).$

Corol·lari 1

Si z és un vector constant diferent de zero p × 1, llavors:

${\mathbf {z} }^{T}\mathbf {X} {\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}.$

En aquest cas, $\chi _{m}^{2}$ és la distribució de khi-quadrat i $\sigma _{z}^{2}={\mathbf {z} }^{T}{\mathbf {V} }{\mathbf {z} }$ ($\sigma _{z}^{2}$ és una constant, és positiu perquè V és definida positiva).

Corol·lari 2

Considerem el cas en z^T = (0, ..., 0, 1, 0, ..., 0) (és a dir, l'element j-èsim és 1 i tots els altres zero). Llavors el corol·lari 1 mostra que:

$w_{jj}\sim \sigma _{jj}\chi _{m}^{2}$

dóna la distribució marginal de cada un dels elements de la matriu diagonal.

L’ estadístic George Seber assenyala que la distribució de Wishart no es diu la "distribució chi quadrat multivariant" perquè la distribució marginal dels elements fora de la diagonal no és de chi-quadrat. Seber prefereix reservar el terme multivariant per al cas en el que tots els distribucions marginals univariades pertanyen a la mateixa família.

Estimació de la distribució normal multivariada

La distribució Wishart és la distribució mostral de l'estimador de màxima versemblança (MLE) de la matriu de covariància d'una distribució normal multivariada. Una derivació de la MLE utilitza el teorema espectral.

Descomposició de Barlett

La descomposició de Bartlett d'una matriu X d'una distribució Wishart de p-variables amb matriu d'escala V i n graus de llibertat és la factorització:

$\mathbf {X} ={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T},$

on L és el factor de Cholesky de V, i:

$\mathbf {A} ={\begin{pmatrix}c_{1}&0&0&\cdots &0\\n_{21}&c_{2}&0&\cdots &0\\n_{31}&n_{32}&c_{3}&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\n_{p1}&n_{p2}&n_{p3}&\cdots &c_{p}\end{pmatrix}}$

on $c_{i}^{2}\sim \chi _{n-i+1}^{2}$ i n_ij ~ N(0, 1) de manera independent. Això proporciona un mètode útil per a l'obtenció de mostres a l'atzar d'una distribució de Wishart.

Vegeu també

• Distribució khi quadrat
• Distribució F
• Distribució t de Student

Enllaços externs

• Zweng rmg (Random Matrix Generator) a Github (anglès) Programari en C++ per a generar matrius aleatòries