Mixtura de distribucions de probabilitat

Figura 1. Funció de densitat d'una mixtura de tres distribucions normals (μ=5, 10, 15, σ=2) amb iguals pesos (1/3). Cada component es representa com una funció de densitat ponderada amb àrea igual a 1/3.

En probabilitat i estadística, una mixtura de distribucions de probabilitat o distribució mixtura o distribució barreja és una superposició de distribucions amb diferents formes funcionals o diferents paràmetres, en proporcions especificades. També es pot interpretar com la distribució de probabilitat d'una variable aleatòria que es deriva d'una col·lecció d'altres variables aleatòries de la següent manera: primer, una variable aleatòria es selecciona a l'atzar d'acord amb una certa probabilitat entre una família de variables aleatòries, i després es realitza el valor de la variable aleatòria seleccionada. O bé com una distribució que depèn d'un paràmetre que, al seu torn, segueix una distribució de probabilitat. Les variables aleatòries poden ser reals o vectorials, és a dir, vectors aleatoris, (tots amb la mateixa dimensió) i, en aquest cas, la distribució de la barreja és una distribució multivariant.

En els casos en què cadascuna de les variables aleatòries subjacents és contínua, la variable resultant també serà contínua. Quan hi ha un nombre finit o infinit numerable de distribucions, la funció de distribució (i la funció de densitat de probabilitat si existeix) es pot expressar com una combinació convexa (és a dir, una suma ponderada, amb pesos no negatius que sumen 1) d'altres funcions de distribució i funcions de densitat. Les distribucions individuals que es combinen per formar la mixtura s'anomenen components de la mixtura, i les probabilitats (o pesos) associades a cada component s'anomenen pesos de la mixtura. El nombre de components en una distribució de mixtura sovint es limita a ser finit, però també es poden considerar mixtures amb un nombre infinit numerable o no numerable de components.

Cal fer una distinció entre una variable aleatòria la funció de distribució o densitat de la qual és la suma d'un conjunt de components (és a dir, una mixtura de distribucions) i una variable aleatòria el valor de la qual és la suma dels valors de dues o més variables aleatòries; en aquest darrer cas, quan les variables són independents, la distribució ve donada per l'operador de convolució. Com a exemple, la suma de dues variables aleatòries distribuïdes de manera conjunta normal, amb mitjanes diferents, encara tindrà una distribució normal. D'altra banda, una mixtura de dues distribucions normals amb mitjanes diferents tindrà dos pics (distribució bimodal), mostrant que aquesta distribució és radicalment diferent d'una distribució normal.

Les mixtures de distribucions sorgeixen en molts contextos de la literatura; concretament, de manera natural quan una població estadística conté dues o més subpoblacions. De vegades també s'utilitzen com a mitjà per representar distribucions no normals. L'anàlisi de dades sobre models estadístics que impliquen distribucions de mixtura es discuteix sota el títol de models de mixtura, mentre que el present article es concentra en les propietats probabilístiques i estadístiques simples de les mixtures de distribucions i com aquestes es relacionen amb les propietats de les distribucions subjacents.

Mixtures finites i infinit numerables

Donat un conjunt finit o infinit numerable de funcions de distribució $F_{1}(x),F_{2}(x),\dots$, i pesos $w_{1},w_{2},\dots$ , tals que $w_{i}\geq 0$ i $\sum _{i}w_{i}=1$, la mixtura de distribucions o distribució mescla té per funció de distribució:

$$F(x)=\sum _{i}\,w_{i}\,F_{i}(x),$$

la qual és una combinació convexa de les funcions de distribució.

Si totes les distribucions són discretes, que prenen valors respectivament en els conjunts $S_{i}$, amb funcions de probabilitat $p_{i}$, aleshores la mixtura també és discreta amb funció de probabilitat

$$p(x)=\sum _{i}\,w_{i}\,p_{i}(x),\quad x\in \bigcup _{i}S_{i}.$$

Si totes les distribucions tenen densitat, que designarem per $f_{1}(x),f_{2}(x),\dots$, aleshores la distribució mixtura té densitat donada per

$$f(x)=\sum _{i}w_{i}\,f_{i}(x).$$

Quan el nombre de components és finit, es diu que és una mixtura finita o una mescla finita; en moltes aplicacions, una referència a una mixtura acostuma a significar una mixtura finita.

Mixtures de tipus continu

Quan el nombre de components és no numerable, la construcció de la mixtura té una similitud formal amb les mixtures anteriors, però substituint els sumatoris per integrals i els pesos per una distribució de probabilitat. Concretament, suposem que les funcions de distribució components tenen la mateixa forma funcional $F(x;\theta )$ (també s'escriu $F(x\,|\,\theta )$) depenent d'un paràmetre $\theta \in \Theta$, on $\Theta \in \mathbb {R} ^{d}$(en rigor, un conjunt de Borel de $\mathbb {R} ^{d}$): per exemple, totes les distribucions són normals parametritzades per la mitjana. Suposem que tenim una distribució de probabilitat a $\Theta$ donada a per una funció de densitat $h(\theta )$. Aleshores la mixtura té funció distribució

$$F(x)=\int _{\Theta }F(x;\theta )\,h(\theta )\,d\theta .$$

Si les distribucions tenen funció de densitat $f(x;\theta )$ (o $f(x\,|\,\theta )$, aleshores la mixtura té funció de densitat

$$f(x)=\int _{\Theta }f(x;\theta )\,h(\theta )\,d\theta .\qquad (1)$$

Interpretació en termes de variables aleatòries. Marginalització

Per simplificar l'exposició ens limitarem a comentar una mixtura finita. Anem a calcular la mixtura de les funcions de distribució $F_{1},\dots ,F_{n}$ amb pesos $w_{1},\dots ,w_{n}$. Considerem una variable aleatòria $M$ que prengui els valors $1,\dots ,n$ amb probabilitat $w_{1},\dots ,w_{n}$:

$$P(M=i)=w_{i},\quad i=1,\dots ,n.$$

D'altra banda, considerem $n$ variables aleatòries, $X_{1},\dots ,X_{n}$, tals que $X_{i}$ condicionada a $M=i$ tingui funció de distribució $F_{i}$:

$$P(X_{i}\leq t\,|\,M=i)=F_{i}(t),\quad i=1,\dots ,n.$$

Aleshores, pel teorema de les probabilitats totals, la funció de distribució (no condicionada) de $X$ serà.

$$P(X\leq t)=\sum _{i=1}^{n}P(M=i)\,P(X_{i}\leq t\,|\,M=i)=\sum _{i=1}^{n}w_{i}F_{i}(t),$$

i per tant, coincideix amb la funció de distribució de la mixtura.

Aquest procediment s'anomena marginalització, ja que el que hem fet correspon a calcular la distribució marginal de $X$ a partir de la informació que tenim sobre el vector $(X,M)$.

Càlcul de moments i funció característica

Per simplicitat considerarem el cas d'una mixtura amb densitats, però els resultats són generals. Sigui

$$f(x)=\sum _{i}w_{i}\,f_{i}(x).$$

Si tots els components tenen moment d'ordre $k$, aleshores la mixtura també i

$$\int _{-\infty }^{\infty }x^{k}f(x)\,dx=\sum _{i}w_{i}\int _{-\infty }^{\infty }x_{i}^{k}f(x)\,dx.$$

La funció característica de la mixtura, que designarem per $\varphi$ , serà

$$\varphi (t)=\int _{-\infty }^{\infty }e^{itx}f(x)\,dx=\sum _{i}w_{i}\varphi _{i}(t),$$

on $\varphi _{i}$ és la funció característica de la distribució corresponent a $f_{i}$.

Exemples

Mixtura de tres distribucions normals

Considerem tres distribucions normals, amb mitjanes $\mu _{1},\,\mu _{2}$ i $\mu _{3}$ , totes amb variància $\sigma$. Siguin $f_{1},\,f_{2}$ i $f_{3}$ les funcions de densitats respectives:

$$f_{i}(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\,e^{-(x-\mu _{i})^{2}/(2\sigma ^{2})},\quad i=1,2,3.$$

Considerem tres nombres $w_{1},w_{2},w_{3}\in (0,1)$ , tals que $w_{1}+w_{2}+w_{2}=1$. Definim

$$f(x)=w_{1}f_{1}(x)+w_{2}f_{2}(x)+w_{3}f_{3}(x),\quad x\in \mathbb {R} .$$

Aleshores $f$ és una funció de densitat que s'anomena mixtura de les distribucions ${\mathcal {N}}(\mu _{1},\sigma ),\,{\mathcal {N}}(\mu _{2},\sigma )$ i ${\mathcal {N}}(\mu _{3},\sigma )$ amb pesos respectius $w_{1},\,w_{2}$ i $w_{3}$.

Si designem per $F_{i}$ la funció de distribució corresponent a la densitat $f_{i}$ , aleshores tenim que la funció de distribució corresponent a la densitat $f$ és

$$F(x)=p_{1}F_{1}(x)+p_{2}F_{2}(x)+p_{3}F_{3}(x).$$

Vegeu la Figura 1 per un exemple amb $\mu _{1}=5,\,\mu _{2}=10,\,\mu _{3}=15,\ \sigma =2\ {\rm {{i}\ w_{1}=w_{2}=w_{3}=1/3}}$.

Distribució de Poisson composta

Considerem una successió $Y_{1},\,Y_{2},\dots$ de variables aleatòries independents, totes amb la mateixa distribució; designem per $F_{Y}$ la funció de distribució comuna. Definim

$${\begin{aligned}S_{0}&=0,\\S_{n}&=Y_{1}+\cdots +Y_{n},\ n\geq 1.\end{aligned}}$$

La successió $S_{0},\,S_{1},\dots$ s'anomena una passejada aleatòria (en aquest cas surt de 0). D'altra banda, sigui $N$ una variable aleatòria de Poisson de paràmetre $\lambda >0$ independent de $Y_{1},\,Y_{2},\dots$ La variable aleatòria

$$X=S_{N}$$

s'anomena distribució de Poisson composta (Compound Poisson distribution) (Nota: alguns autors també suposen que $P(Y_{1}=0)=0$ ). La seva funció de distribució, que designarem per $F_{X}$ , es calcula mitjançant el teorema de les probabilitats totals i la independència entre $N$ i $Y_{1},\,Y_{2},\dots$:

$$F_{X}(t)=P(X\leq t)=\sum _{k=0}^{\infty }P(S_{N}\leq k\,|\,N=k)\,P(N=k)=\sum _{k=0}^{\infty }P(S_{k}\leq k\,|\,N=k)\,P(N=k)=e^{-\lambda }\,\sum _{k=0}^{\infty }F_{k}(t)\,{\frac {\lambda ^{k}}{k!}},$$

on $F_{k}$ és la funció de distribució de $S_{k}$, que és

$$F_{k}(t)=F_{Y}^{*k}(t),$$

on $*$ denota l'operació de convolució. Per tant, identifiquem una distribució de Poisson composta com una mixtura amb un nombre infinit numerable de components.

Si designem per $\varphi _{Y}$ la funció característica comuna de $Y_{1},\,Y_{2},\dots$, i per $\varphi _{X}$ la de $X$, aleshores, pel teorema de les esperances totals i la independència entre $N$ i $Y_{1},\,Y_{2},\dots$,

$${\begin{aligned}\varphi _{X}(t)&=E{\big [}e^{itX}{\big ]}=\sum _{k=0}^{\infty }E(e^{itS_{N}}\,|\,N=k)\,P(N=k)\\&=\sum _{k=0}^{\infty }E{\big [}e^{itS_{k}}{\big ]}\,P(N=k)=e^{-\lambda }\,\sum _{k=0}^{\infty }{\big (}\varphi _{Y}(t){\big )}^{k}\,{\frac {\lambda ^{k}}{k!}}=e^{\lambda (\varphi _{Y}(t)-1)}\end{aligned}}$$

Per exemple, si $Y_{1},Y_{2},\dots$ tenen una distribució logarítmica de paràmetre $\alpha \in (0,1)$, amb funció de probabilitat

$$P(Y_{n}=j)={\frac {b\,\alpha ^{j}}{j}},\quad j=1,2,\dots ,$$

on $b=-1/\log(1-\alpha )$, que té funció característica

$$\varphi _{Y}(t)={\frac {\log(1-\alpha e^{it})}{\log(1-\alpha )}},$$

aleshores la distribució composta de Poisson amb amb aquesta distribució té funció característica

$$\varphi _{X}(t)=\exp {\Big \{}\lambda {\Big (}{\frac {\log {\big (}1-\alpha e^{it}{\big )}}{\log(1-\alpha )}}-1{\Big )}{\Big \}}={\bigg (}{\frac {1-\alpha }{1-\alpha e^{it}}}{\bigg )}^{-\lambda /\log(1-\alpha )}.$$

Per tant, reconeixem una distribució binomial negativa amb paràmetres $p=1-\alpha$ i $r=-\lambda /\log(1-\alpha )$ . (Nota. la distribució binomial negativa habitual es defineix per a $r$ un nombre enter estrictament positiu (el nombre d'èxits especificat), però es pot estendre a qualsevol real estrictament positiu $r>0$).

Mixtura gamma-gamma

En aquest exemple de Dubey es considera una distribució gamma on el seu paràmetre d'escala inversa també té una distribució gamma. Considerem una distribució gamma amb paràmetre d'escala $1/\gamma$, amb $\gamma >0$ (també es diu que $\gamma$ és el paràmetre d'escala inversa), i paràmetre de posició $\alpha >0$ , amb funció de densitat (es tracta com una densitat condicionada)

$$f(x;\gamma )={\frac {\gamma ^{\alpha }\,x^{\alpha -1}e^{-\gamma x}}{\Gamma (\alpha )}},\quad x>0,$$

on $\Gamma (\alpha )$ és la funció gamma d'Euler. Suposem que el paràmetre $\gamma$ segueix una distribució gamma amb paràmetre de posició $1/q$ (amb $q>0$ ) i paràmetre de posició $\beta >0$, amb funció de densitat

$$f(\gamma )={\frac {q^{\beta }\,\gamma ^{\beta -1}e^{-q\gamma }}{\Gamma (\beta )}},\quad \gamma >0.$$

Aleshores la funció de densitat de la mixtura és

$$f(x)=\int _{0}^{\infty }f(x;\gamma )\,f(\gamma )\,d\gamma ={\frac {x^{\alpha -1}\,q^{\beta }}{B(\alpha ,\beta )\,(x+q)^{\alpha +\beta }}},$$

on $B(\alpha ,\beta )$ és la funció beta. Aquesta distribució és un cas particular d'una distribució beta prima que Dubey anomena distribució gamma composta (compound Gamma distribution).

Definició formal general

Designem per ${\mathcal {B}}(\mathbb {R} ^{m})$ la $\sigma$-àlgebra de Borel sobre $\mathbb {R} ^{m}$ i per $(\Theta ,{\mathcal {H}})$ un espai mesurable arbitrari (en aquest context, prendrem $\Theta \in {\mathcal {B}}(\mathbb {R} )$ o $\Theta \in {\mathcal {B}}(\mathbb {R} ^{n})$, Una probabilitat de transició (també s'anomena nucli de Markov) de${\big (}\Theta ,{\mathcal {H}})$ en ${\big (}{\mathcal {\mathbb {R} }},B(\mathbb {R} ){\big )}$ és una aplicació $p:\Theta \times {\mathcal {B}}(\mathbb {R} )\longrightarrow [0,1]$, tal que

1. Fixat $\theta \in \Theta$, l'aplicació

$${\begin{aligned}p(\theta ,\cdot ):{\mathcal {B}}&(\mathbb {R} )\longrightarrow [0,1]\\&B\longmapsto p(\theta ,B)\end{aligned}}$$

és una probabilitat.

2. Fixat $B\in {\mathcal {B}}(\mathbb {R} )$, l'aplicació

$${\begin{aligned}p(\cdot ,B):&\Theta \longrightarrow [0,1]\\&\theta \longmapsto p(\theta ,B)\end{aligned}}$$

és mesurable.

Amb la mateixa definició, es pot canviar $\mathbb {R}$ per $\mathbb {R} ^{m}$ , o més en general, canviar ${\big (}{\mathcal {\mathbb {R} }},B(\mathbb {R} ){\big )}$ per un espai mesurable arbitrari.

Amb les notacions anteriors, si $Q$ és una probabilitat sobre ${\big (}\Theta ,{\mathcal {H}}{\big )}$, aleshores l'aplicació

$${\big (}p\,Q{\big )}(B)=\int _{\Theta }p(\theta ,B)\,dQ(\theta ),\quad B\in {\mathcal {B}}(\mathbb {R} ),$$

és una probabilitat a ${\big (}{\mathcal {\mathbb {R} }},B(\mathbb {R} ){\big )}$ que s'anomena mixtura de $p$ amb $Q$ .

En el cas que cada probabilitat $p(\theta ,\cdot )$ tingui funció de densitat $f(x;\theta )$ i $Q$ tingui funció de densitat $h(\theta )$, aleshores la mixtura $p\,Q$ també tindrà funció de densitat donada per la fórmula (1).