Distribució gamma

Distribució gamma.

En la teoria de la probabilitat i l'estadística, la distribució gamma és una família de distribucions contínues amb dos paràmetres. Té un paràmetre d'escala θ i un paràmetre de forma k. Si k és un nombre sencer aleshores la distribució representa la suma de k variables aleatòries exponencials, cadascuna de les quals té mitjana θ.

Caracterització

Una variable aleatòria gamma X amb escala θ i forma k es denota

$X \sim \Gamma(k, \theta) \,\,\mathrm{ or }\,\, X \sim \textrm{Gamma}(k, \theta)$

Funció de densitat de probabilitat

La funció de probabilitat de densitat de la distribució gamma pot expressar-se en termes de la funció gamma:

$f(x;k,\theta) = x^{k-1} \frac{e^{-x/\theta}}{\theta^k \, \Gamma(k)} \ \mathrm{ for }\ x > 0\,\, \mathrm{ and }\,\, k, \theta > 0.$

En aquesta parametrització l'esperança és $k/ \theta$ Alternativament, la distribució gamma pot parameteritzar-se en termes d'un paràmetre de forma $\alpha = k$ i un paràmetre d'escala inversa $\beta = 1/\theta$, anomenat un paràmetre de tasa:

$g(x;\alpha,\beta) = x^{\alpha-1} \frac{\beta^{\alpha} \, e^{-\beta\,x} }{\Gamma(\alpha)} \ \mathrm{for}\ x > 0 \,\!.$

En la segona parametrització l'esperança és $k \theta$. Ambdues parametritzacions són comunes perque qualsevol de les dues pot ésser més convenient depenent de la tasca a la que un s'enfronta. És possible una tercera parametrització, on es manté el paràmetre de forma $\alpha = k$ i s'introdueix l'esperança $\mu = \alpha/\theta$. L'avantatge d'aquesta darrera parametrització és que és més fàcilment interpretable.

Funció de distribució

La funció de distribució pot expressar-se en termes de la funció gamma incomplerta,

$F(x;k,\theta) = \int_0^x f(u;k,\theta)\,du =\frac{\gamma(k, x/\theta)}{\Gamma(k)} \,\!$

Propietats

Moments

• Mitjana = $k \theta\,\!$
• Mediana = no hi ha una expressió simple
• Moda = $(k-1) \theta\,\!$ per $k \geq 1\,\!$, 0 altrament
• Variància = $k \theta^2\,\!$
• Asimetria = $\frac{2}{\sqrt{k}}\,\!$
• Curtosis = $\frac{6}{k}\,\!$
• Entropia = $k + \ln\theta + \ln\Gamma(k) + (1-k)\psi(k) \!$
• Funció generadora de moments = $(1 - \theta\,t)^{-k}\,\!$ for $t < 1/\theta\,\!$
• Funció característica = $(1 - \theta\,i\,t)^{-k}\,\!$

Suma

Si X_i segueix una distribució Γ(α_i, β) per a i = 1, 2, ..., N, aleshores

$\sum_{i=1}^N X_i \sim \Gamma \left( \sum_{i=1}^N \alpha_i, \beta \right) \,\!$

assumint que totes les X_i són independents.

La distribució gamma és infinitament divisible.

Transformació d'escala

Per a qualssevol t > 0 es compleix que tX segueix una distribució Γ(k, tθ), demonstrant que θ és un paràmetre d'escala.

Família exponencial

La distribució gamma pertany a la família exponencial de dos paràmetres i té paràmetres naturals $k-1$ i $1/\theta$, i estadístics naturals $X$ i $\ln(X)$.

Entropía

L'entropia ve donada per

$\frac{-1}{\theta^k \Gamma(k)} \int_0^{\infty} \frac{x^{k-1}}{e^{x/\theta}} \left[ (k-1)\ln x - x/\theta - k \ln\theta - \ln\Gamma(k) \right] \,dx \!$

$= -\left[ (k-1) (\ln\theta + \psi(k)) - k - k \ln\theta - \ln\Gamma(k) \right] \!$

$= k + \ln\theta + \ln\Gamma(k) + (1-k)\psi(k) \!$

on ψ(k) és la funció digamma.

Divergència Kullback-Leibler

La divergència Kullback-Leibler entre una Γ(α₀, β₀) (la distribució veritable) i una Γ(α, β) (la distribució que l'aproxima) ve donada per

$D_{\mathrm{KL}}(\alpha,\beta || \alpha_0, \beta_0) = \log\left(\frac{\Gamma({\alpha_0})\beta_0^{\alpha_0}}{\Gamma(\alpha)\beta^{\alpha_0}}\right)+(\alpha-{\alpha_0})\psi(\alpha)+\alpha\frac{\beta-\beta_0}{\beta_0}$

Transformada de Laplace

La transformada de Laplace de la distribució gamma és:

$F(s)=\frac{\beta^\alpha}{(s+\beta)^\alpha}$

Estimació dels paràmetres

Màxima versemblança

La funció de versemblança per a N observacions iid $(x_1,\ldots,x_N)$ és

$L(\theta)=\prod_{i=1}^N f(x_i;k,\theta)\,\!$

de la qual podem calcular la log-versemblança

$\ell(\theta) = (k-1) \sum_{i=1}^N \ln{(x_i)} - \sum x_i/\theta - Nk\ln{(\theta)} - N\ln{\Gamma(k)}.$

L'estimador màxim-versemblant s'obté maximitzant la log-versemblança, és a dir, calculant-ne la derivada i igualant a zero (es pot demostrar que la funció és convexa i que per tant té un sol extrem). Procedint d'aquesta manera trobem que:

$\hat{\theta} = \frac{1}{kN}\sum_{i=1}^N x_i. \,\!$

Substituint aquest resultat a l'expressió de la log-versemblança dóna

$\ell=(k-1)\sum_{i=1}^N\ln{(x_i)}-Nk-Nk\ln{\left(\frac{\sum x_i}{kN}\right)}-N\ln{(\Gamma(k))}. \,\!$

Per trobar el màxim respecte de k cal calcular la derivada i igualar-la a zero, amb què s'obté:

$\ln{(k)}-\psi(k)=\ln{\left(\frac{1}{N}\sum_{i=1}^N x_i\right)}-\frac{1}{N}\sum_{i=1}^N\ln{(x_i)} \,\!$

on

$\psi(k) = \frac{\Gamma'(k)}{\Gamma(k)} \!$

és la funció digamma. No existeix cap fórmula tancada per a k, però la funció es comporta bé numèricament (és convex), i per tant és senzill trobar-ne una solució numèrica, per exemple amb el mètode de Newton. És possible trobar un valor inicial per a k emprant el mètode dels moments, o emprant l'aproximació

$\ln(k)-\psi(k) \approx \frac{1}{k}\left(\frac{1}{2} + \frac{1}{12k+2}\right). \,\!$

Si definim

$s = \ln{\left(\frac{1}{N}\sum_{i=1}^N x_i\right)} - \frac{1}{N}\sum_{i=1}^N\ln{(x_i)},\,\!$

aleshores k és aproximadament

$k \approx \frac{3-s+\sqrt{(s-3)^2 + 24s}}{12s}$

que és dins d'un 1,5% del valor correcte.

Estimador Bayesià

Si considerem que k es conegut i $\theta$ és desconegut, la funció de densitat a posteriori per a $\theta$ és (assumint que la distribució a priori és proporcional a $1/\theta$)

$P(\theta | k, x_1, ..., x_N) \propto 1/\theta \prod_{i=1}^N f(x_i;k,\theta).\,\!$

Definint

$y \equiv \sum_{i=1}^N x_i , \qquad P(\theta | k, x_1, \dots , x_N) = C(x_i) \theta^{-N k-1} e^{-y / \theta}. \!$

Per tal de calcular l'esperança cal calcular la integral respecte &theta, el qual pot dur-se a terme emprant un canvi de variables que revela que 1/&theta segueix una distribució gamma amb paràmetres $\scriptstyle \alpha = N k,\ \ \beta = y$.

$\int_0^{\infty} \theta^{-N k-1+m} e^{-y / \theta}\, d\theta = \int_0^{\infty} x^{N k -1 -m} e^{-x y} \, dx = y^{-(N k -m)} \Gamma(N k -m). \!$

Els moments podem calcular-se especificant diferents valors per a m a la següent expressió

$E(x^m) = \frac {\Gamma (N k -m)} {\Gamma(N k)} y^m, \!$

Per exemple, l'esperança +/- la desviació estàndard de la distribució a posteriori de $\theta$ és:

$\frac {y} {N k -1}$ +/- $\frac {y^2} {(N k-1)^2 (N k-2)}.$

També és possible obtenir estimadors Bayesians sense assumir que k és conegut, però en general no és possible obtenir-ne una expressió senzilla.

Generant valors d'una distribució gamma

Tenint en compte la propietat d'escala esmentada anteriorment, és suficient generar una variable gamma amb β = 1 i després transformar-la a qualsevol altre valor de β amb una simple divisió.

Emprant el fet que una distribució Γ(1, 1) és el mateix que una distribució exponencial Exp(1), i tenint en compte el mètode per generar variables aleatòries exponencials, arribem a la conclusió de què si U prové d'una distribució uniforme en (0, 1], aleshores -ln(U) segueix una Γ(1, 1). Emprant la propietat de què la suma de variables aleatòries gamma independents segueix novament una distribució gamma, extenem el resultat:

$\sum_{k=1}^n {-\ln U_k} \sim \Gamma(n, 1),$

on U_k són uniformement distribuïdesen (0, 1] i independents.

Tanmateix aquesta estratègia només funciona si n és un nombre sencer. Ara veurem com generar observacions d'una Γ(δ, 1) per a 0 < δ < 1 ja que després podem aplicar la propietat de la suma per al cas 1 < &delta.

A continuació presenten un algoritme, sense demostració. Es tracta d'un cas particular del mètode d'acceptació-rebuig:

1. Sigui m= 1.
2. Generar $V_{2m - 1}$ i $V_{2m}$ — independents i uniformement distribuïdes a (0, 1].
3. Si $V_{2m - 1} \le v_0$, on $v_0 = \frac e {e + \delta}$, aleshores anar a 4, altrament anar a 5.
4. Sigui $\xi_m = V_{2m - 1}^{1 / \delta}, \ \eta_m = V_{2m} \xi _m^ {\delta - 1}$. Anar a 6.
5. Sigui $\xi_m = 1 - \ln {V_{2m - 1}}, \ \eta_m = V_{2m} e^{-\xi_m}$.
6. Si $\eta_m > \xi_m^{\delta - 1} e^{-\xi_m}$, aleshores incrementar m i tornar a 2.
7. Assumim que $\xi = \xi_m$ és l'observació d'una $\Gamma (\delta, 1)$

Per resumir,

$\theta \left( \xi - \sum _{i=1} ^{[k]} {\ln U_i} \right) \sim \Gamma (k, \theta),$

on [k] és la part sencera de k, i ξ ha estat generat emprant l'algoritme que hem presentat δ = {k} (la part fraccional de k), U_k i V_l segueixen la distribució explicada anteriorment i són independents.

La Llibreria científica GNU disposa de rutines robustes per a generar observacions de moltes distribucions, incloent la distribució Gamma.

Distribucions rel·lacionades

Casos particulars

• Si $X \sim {\Gamma}(k=1, \theta=1/\lambda)\,$, aleshores X segueix una distribució exponencial amb paràmetre λ.
• Si $X \sim {\Gamma}(k=v/2, \theta=2)\,$, aleshores X és identicament distribuïda a una χ²(ν), la distribució khi-quadrat amb ν graus de llibertat.
• Si $k$ és un nombre sencer, la distribució gamma es denomina

distribució d'Erlang que serveix per a modelar el temps d'arribada fins a la $k$-ena "arribada" en un procès de Poisson d'una dimensió amb intensitat 1/θ.

• Si $X^2 \sim {\Gamma}(3/2, 2a^2)\,$, aleshores X segueix una distribució de Maxwell-Boltzmann amb paràmetre a.
• $X \sim \mathrm{SkewLogistic}(\theta)\,$, aleshores $\mathrm{log}(1 + e^{-X}) \sim \Gamma (1,\theta)\,$

Altres

• Si X segueix una Γ(k, θ) aleshores 1/X segueix una distribució gamma inversa amb paràmetres k i θ^-1.
• Si X i Y són Γ(α, θ) i Γ(β, θ) independents, respectivament, aleshores X / (X + Y) segueix una distribució beta amb paràmetres α i β.
• Si X_i són Γ(α_i,θ) independents, aleshores el vector (X₁ / S, ..., X_n / S), on S = X₁ + ... + X_n, segueix una distribució de Dirichlet amb paràmetres α₁, ..., α_n.

Bibliografia

A Wikimedia Commons hi ha contingut multimèdia relatiu a: Distribució gamma

• R. V. Hogg and A. T. Craig. Introduction to Mathematical Statistics, 4th edition. New York: Macmillan, 1978. (See Section 3.3.)
• Weisstein, Eric W., "Gamma distribution" a MathWorld (en anglès).
• Engineering Statistics Handbook
• S. C. Choi and R. Wette. (1969) Maximum Likelihood Estimation of the Parameters of the Gamma Distribution and Their Bias, Technometrics, 11(4) 683-69