Teorema de Shannon-Hartley

El teorema de Shannon-Hartley és una aplicació del teorema de codificació per a canals amb soroll. Un dels casos més freqüents és el d'un canal continu en el temps que presenta un soroll gaussià.

El teorema estableix la capacitat del canal de Shannon, una fita superior que fixa la quantitat màxima de dades digitals que poden ser transmeses o no sense error (això és, informació) sobre un determinat enllaç de comunicacions amb una amplada de banda específica i que està sotmès a la presència de la interferència del soroll.

En les hipòtesis inicials, per una aplicació correcta del teorema, s'assumeix una limitació en la potència de la senyal i, a més, que el procés del soroll gaussià està caracteritzat per una potència coneguda o una densitat espectral de potència.

El teorema deu el seu nom a Claude Shannon i a Ralph Hartley.

Formulació matemàtica del teorema

Considerant qualsevol estratègia de transmissió de dades, el teorema de Shannon-Hartley indica que la capacitat de canal C és:

$C=B\log _{2}\left(1+{\frac {S}{N}}\right)$

on:

• $B$ és l'amplada de banda del canal (en unitats de Hz).
• $C$ és la capacitat del canal (en unitats de bits/s)
• $S$ és la potència del senyal (en unitats de W, mW, etc.)
• $N$ és la potència del soroll del canal (en unitats de W, mW, etc.).

Es té en compte que C és la taxa màxima teòrica de dades transmeses sense error que poden esser enviades, amb una determinada potència mitjana del senyal S, a través d'un canal de comunicacions analògic que té soroll blanc de potència N.

Desenvolupament històric

A finals dels anys 20, Harry Nyquist i Ralph Hartley desenvoluparen una sèrie d'idees fonamentals relacionades amb la transmissió d'informació, particularment, en el context del telègraf com a sistema de comunicacions. En aquells anys, aquests conceptes foren avenços de gran abast de caràcter individual, però no formaven part del corpus d'una teoria exhaustiva.

Fou als anys 40, quan Claude Shannon va desenvolupar el concepte de capacitat d'un canal basant-se, en part, en les idees proposades per Nyquist i Hartley, i formulant, posteriorment, una teoria completa sobre la informació i la transmissió d'aquesta a través de canals.

Freqüència de Nyquist

L'any 1927, Nyquist va determinar que el nombre de polsos independents que podien passar a través d'un canal de telègraf, per unitat de temps, estava limitat a dues vegades l'amplada de banda del canal.

$f_{p}\geq 2B$

on $f_{p}$ és la freqüència del pols (en polsos per segon) i $B$ és l'amplada de banda (en hertz). La quantitat $2B$ va anomenar-se, més endavant, freqüència de Nyquist.

Nyquist va publicar els seus resultats l'any 1928 com a part del seu article "Certain Topics in Telegraph Transmission Theory".

Llei de Hartley

Durant aquell mateix any, Hartley va formular una manera de quantificar la informació i la seva freqüència de transmissió a través d'un canal de comunicacions. Aquest mètode, conegut més endavant com la llei de Hartley, va convertir-se en un important precursor de la sofisticada noció de capacitat d'un canal, formulada per Shannon.

Hartley indicà que el nombre màxim de pulsos diferents que poden transmetre's i rebre's, de manera fiable, sobre un canal de comunicacions està limitat pel rang dinàmic de l'amplitud de la senyal i de la precisió amb la qual el receptor pot distingir diferents nivells d'amplitud.

Específicament, si l'amplitud de la senyal transmesa es restringeix al rang de $[-A...+A]$ volts, i la precisió del receptor és +/- $\Delta V$ volts, llavors el nombre màxim de pulsos diferents M estarà donat per:

$M=1+{A \over \Delta V}$

Prenent la informació per a ser el logaritme del nombre dels polsos diferents que podrien ser enviats, Hartley va construir, després, una mesura de la informació proporcional a l'amplada de banda del canal i a la duració del seu ús. A vegades, només es parla d'aquesta proporcionalitat quan se cita la llei de Hartley.

Posteriorment, Hartley va combinar l'observació de Nyquist i la seva pròpia quantificació de la qualitat o soroll d'un canal en termes del nombre de nivells de pols que podien ser distingits de manera fiable i denotats per $M$, per tal d'arribar a una mesura quantitativa de la freqüència d'informació que pot obtenir-se.

La llei de Hartley s'explica, quantitativament, com la taxa d'informació assolible de $R$ bits per segon, $(b/s)$:

$R=2B\log _{2}(M)\,$

Hartley no resolgué de manera precisa com el paràmetre $M$ ha de dependre de les estadístiques de soroll del canal, o com la comunicació podia ser fiable tot i que els polsos individuals corresponents a símbols no es poguessin distingir, de manera fiable, dels nivells de $M$.

Els dissenyadors de sistemes han d'escollir un valor molt conservador de $M$ per aconseguir la mínima taxa d'error.

El concepte d'una capacitat lliure d'errors esperà fins que Claude Shannon va investigar sobre les observacions de Hartley, amb respecte a la mesura logarítmica de la informació, i les observacions de Nyquist, sobre l'efecte de les limitacions de l'amplada de banda del canal.

El resultat de la taxa de Hartley pot veure's com la capacitat d'un canal $M$ sense errors de $2B$ símbols per segon. Alguns autors s'hi refereixen com capacitat. Aquest suposat canal, però, lliure d'errors, és un canal ideal, i el resultat és, necessàriament, menor que la capacitat de Shannon d'un canal amb soroll d'amplada de banda $B$, que és el resultat Hartley-Shannon que sorgí més endavant.

Teorema de codificació de canals amb soroll i capacitat

El desenvolupament de la teoria de la informació de Claude Shannon durant la Segona Guerra Mundial va estimular la següent gran passa per entendre la quantitat d'informació que podria comunicar-se, sense errors i de manera fiable, a través de canals amb soroll gaussià de fons.

Fonamentat sobre les idees de Hartley, el teorema de Shannon de la codificació de canals amb soroll (1948) descriu la màxima eficiència possible dels mètodes de correcció d'errors versus els nivells d'interferència de soroll i corrupció de dades. La prova del teorema mostra que un codi corrector d'errors construït aleatòriament és, en essència, igual de bo que el millor codi possible. El teorema es comprova amb l'estadística de tals codis aleatoris.

El teorema de Shannon demostra com calcular la capacitat d'un canal sobre una descripció estadística del canal i estableix que, donat un canal amb soroll amb capacitat $C$ i informació transmesa en una freqüència $R$, llavors si

$R<C\,$

existeix una tècnica de codificació que permet que la probabilitat d'error en el receptor es faci arbitràriament petita. Això significa que, teòricament, és possible transmetre informació quasii bé sense error fins un límit proper a $C$ bits per segon.

L'invers també és important. Si

$R>C\,$

la probabilitat d'error en el receptor s'incrementa il·limitadament mentre s'augmenti la freqüència. D'aquesta manera, no pot transmetre's cap informació útil per sobre la capacitat del canal. El teorema no tracta la situació, poc freqüent, en què la freqüència i la capacitat són iguals.

Teorema de Shannon-Hartley

El teorema de Shannon-Hartley estableix quina és la capacitat d'un canal amb amplada de banda finit i un senyal continu que pateix soroll gaussià. És una síntesi entre la llei de Hartley amb el teorema de Shannon.

Si existís un canal amb amplada de banda infinit i sense soroll, es podria transmetre quantitats il·limitades de dades sense errors en una quantitat de temps. Tot i així, els canals de comunicació reals tenen limitacions a causa de l'amplada de banda finit i el soroll.

Llavors, com afecta l'amplada de banda i el soroll a la quantitat d'informació que es pot transmetre sobre un canal analògic?

Cal dir, que l'amplada de banda per si sola no imposa restriccions sobre la capacitat màxima d'informació sobre un canal, sinó que està relacionat amb les limitacions del voltatge del senyal, és a dir, cada valor de voltatge diferent que pot tenir el senyal analògic equival a una seqüència de bits diferent, de manera que per un senyal de valors de voltatge infinits, la capacitat del canal és infinita. Així, la limitació bé donada per la impossibilitat de generar un senyal amb valors de voltatge infinit.

En el canal considerat pel teorema de Shannon-Hartley, el soroll i el senyal es sumen, provocant una diferència entre el senyal original i el resultant.

Si el receptor té certa informació sobre el procés aleatori que genera el soroll, es pot pot recuperar la informació del senyal original. En el cas del teorema de Shannon-Hertley, s'assumeix que el soroll és general per un procés gaussià amb una variança coneguda. Com que la variança del procés gaussià és equivalent a la seva potència, normalment s'anomena a la variança potència de soroll.

Enllaços externs

• A Mathematical Theory of Communication Arxivat 1998-07-15 a Wayback Machine.
• A Symbolic Analysis of Relay and Switching Circuits
• Communication in the Presence of Noise Arxivat 2010-02-08 a Wayback Machine.
• The relationship between information, bandwidth and noise Arxivat 2007-05-23 a Wayback Machine.
• On-line textbook: Information Theory, Inference, and Learning Algorithms
• El Teorema de la Capacidad Máxima de un Canal Arxivat 2007-03-29 a Wayback Machine.
• Information Entropy