Distribució de probabilitat d'entropia màxima

Distribució de probabilitat d'entropia màxima

Tipus	distribució de probabilitat

En estadística i teoria de la informació, una distribució de probabilitat d'entropia màxima té una entropia que és almenys tan gran com la de tots els altres membres d'una classe especificada de distribucions de probabilitat. D'acord amb el principi d'entropia màxima, si no se sap res sobre una distribució, excepte que pertany a una classe determinada (normalment es defineix en termes de propietats o mesures especificades), llavors la distribució amb la major entropia s'hauria de triar com a menys informativa. per defecte. La motivació és doble: primer, maximitzar l'entropia minimitza la quantitat d'informació prèvia incorporada a la distribució; en segon lloc, molts sistemes físics tendeixen a moure's cap a configuracions d'entropia màxima al llarg del temps.

Definició d'entropia i entropia diferencial

Si $X$ és una variable aleatòria discreta amb distribució donada per

$\operatorname {Pr} (X=x_{k})=p_{k}\quad {\mbox{ for }}k=1,2,\ldots$

llavors l'entropia de $X$ es defineix com

$H(X)=-\sum _{k\geq 1}p_{k}\log p_{k}.$

Si $X$ és una variable aleatòria contínua amb densitat de probabilitat $p(x)$, llavors l'entropia diferencial de $X$ es defineix com

$H(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)\,dx.$

La quantitat $p(x)\log p(x)$ s'entén que és zero sempre que $p(x)=0$.

Exemples

Tota distribució de probabilitat és trivialment una distribució de probabilitat d'entropia màxima sota la restricció que la distribució tingui la seva pròpia entropia. Per veure això, reescriu la densitat com $p(x)=\exp {(\ln {p(x)})}$ i compareu amb l'expressió del teorema anterior. En triar $\ln {p(x)}\rightarrow f(x)$ ser la funció mesurable i

$\int \exp {(f(x))}f(x)dx=-H$

ser la constant, $p(x)$ és la màxima distribució de probabilitat d'entropia sota la restricció

$\int p(x)f(x)dx=-H$

Els exemples no trivials són distribucions que estan subjectes a múltiples restriccions que són diferents de l'assignació de l'entropia. Sovint es troben començant amb el mateix procediment $\ln {p(x)}\rightarrow f(x)$ i trobant-ho $f(x)$ es pot separar en parts.

Una taula d'exemples de distribucions d'entropia màxima es dóna a Lisman (1972) i Park & Bera (2009).