Vés al contingut

Distribució de probabilitat d'entropia màxima

De la Viquipèdia, l'enciclopèdia lliure
Infotaula distribució de probabilitatDistribució de probabilitat d'entropia màxima
Tipusdistribució de probabilitat Modifica el valor a Wikidata

En estadística i teoria de la informació, una distribució de probabilitat d'entropia màximauna entropia que és almenys tan gran com la de tots els altres membres d'una classe especificada de distribucions de probabilitat. D'acord amb el principi d'entropia màxima, si no se sap res sobre una distribució, excepte que pertany a una classe determinada (normalment es defineix en termes de propietats o mesures especificades), llavors la distribució amb la major entropia s'hauria de triar com a menys informativa. per defecte. La motivació és doble: primer, maximitzar l'entropia minimitza la quantitat d'informació prèvia incorporada a la distribució; en segon lloc, molts sistemes físics tendeixen a moure's cap a configuracions d'entropia màxima al llarg del temps.[1]

Definició d'entropia i entropia diferencial

[modifica]

Si és una variable aleatòria discreta amb distribució donada per

llavors l'entropia de es defineix com


Si és una variable aleatòria contínua amb densitat de probabilitat , llavors l'entropia diferencial de es defineix com [2]

La quantitat s'entén que és zero sempre que .

Exemples

[modifica]

Tota distribució de probabilitat és trivialment una distribució de probabilitat d'entropia màxima sota la restricció que la distribució tingui la seva pròpia entropia. Per veure això, reescriu la densitat com i compareu amb l'expressió del teorema anterior. En triar ser la funció mesurable i

ser la constant, és la màxima distribució de probabilitat d'entropia sota la restricció

Els exemples no trivials són distribucions que estan subjectes a múltiples restriccions que són diferents de l'assignació de l'entropia. Sovint es troben començant amb el mateix procediment i trobant-ho es pot separar en parts.

Una taula d'exemples de distribucions d'entropia màxima es dona a Lisman (1972) [3] i Park & Bera (2009).[4]

Referències

[modifica]
  1. «Maximum Entropy Distributions» (en anglès). https://ccrma.stanford.edu.+[Consulta: 9 juliol 2023].
  2. «Lecture 8: Information Theory and Maximum Entropy» (en anglès). http://pillowlab.princeton.edu.+[Consulta: 23 juliol 2009].
  3. Lisman, J. H. C.; van Zuylen, M. C. A. Statistica Neerlandica, 26, 1, 1972, pàg. 19–23. DOI: 10.1111/j.1467-9574.1972.tb00152.x.
  4. Park, Sung Y.; Bera, Anil K. «Còpia arxivada». Journal of Econometrics, 150, 2, 2009, pàg. 219–230. Arxivat de l'original el 2016-03-07. DOI: 10.1016/j.jeconom.2008.12.014 [Consulta: 2 juny 2011].