Primer teorema de Shannon
De Viquipèdia
El teorema de codificació de fonts, primer teorema de Shannon, o menys utilitzada, teorema de la codificació sense soroll) és un teorema enunciat per Claude Shannon el 1948, que estableix el límit teòric per a la compressió d'una font de dades (origen).
El raonament de Shannon es basa en vectors 
i una font fixa (després de variables independents i idènticament distribuïdes). El teorema demostra que quan 
, la longitud mitjana del codi va a la entropia.
Per als codis amb els símbols, el teorema simplifica a 
.
Referències[modifica]
- CE Shannon, "Teoria Matemàtica de la Comunicació," Bell System Technical Journal, vol. 27, pp. 379-423, juliol de 1948.
