Distribució contínua de Bernoulli

Distribució contínua de Bernoulli

En teoria de probabilitats, estadística i aprenentatge automàtic, la distribució contínua de Bernoulli és una família de distribucions de probabilitat contínues parametritzades per un sol paràmetre de forma $\lambda \in (0,1)$, definit en l'interval unitari $x\in [0,1]$, per:

$p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.$

La distribució contínua de Bernoulli sorgeix en l'aprenentatge profund i la visió per ordinador, específicament en el context dels autoencoders variacionals, per modelar les intensitats de píxels d'imatges naturals. Com a tal, defineix una contrapartida probabilística adequada per a la pèrdua d'entropia creuada binària que s'utilitza habitualment, que sovint s'aplica a contínues, $[0,1]$ - dades valorades. Aquesta pràctica equival a ignorar la constant normalitzadora de la distribució contínua de Bernoulli, ja que la pèrdua d'entropia creuada binària només defineix una veritable probabilitat logarítmica per a discrets, $\{0,1\}$ - dades valorades.

El Bernoulli continu també defineix una família exponencial de distribucions. Escriptura $\eta =\log \left(\lambda /(1-\lambda )\right)$ per al paràmetre natural, la densitat es pot reescriure en forma canònica: $p(x|\eta )\propto \exp(\eta x)$ .

Distribucions relacionades

Distribució de Bernoulli

El Bernoulli continu es pot pensar com una relaxació contínua de la distribució de Bernoulli, que es defineix en el conjunt discret. $\{0,1\}$ per la funció de massa de probabilitat:

$p(x)=p^{x}(1-p)^{1-x},$

on $p$ és un paràmetre escalar entre 0 i 1. Aplicant aquesta mateixa forma funcional a l'interval continu $[0,1]$ dona lloc a la funció de densitat de probabilitat de Bernoulli contínua, fins a una constant normalitzadora.

Distribució beta

La distribució Beta té la funció de densitat:

$p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},$

que es pot reescriure com:

$p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},$

on $\alpha _{1},\alpha _{2}$ són paràmetres escalars positius, i $(x_{1},x_{2})$ representa un punt arbitrari dins del símplex 1, $\Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}$ . Canviant el paper del paràmetre i l'argument en aquesta funció de densitat, obtenim:

$p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.$