Adaline

Les xarxes Adaline (Adaptative Linear Element), van ser desenvolupades per Bernie Widrow a la Universitat de Stanford. Adaline són les abreviatures de Adaptative Linear Element. Encara que originalment corresponien a Adaptative Linear Neuron, al caure les xarxes neuronals en decadència l'autor va decidir passar a la primera definició donada.

La diferència entre Adaline i el perceptró estàndard (McCulloch-Pitts) és que en la fase d'aprenentatge dels pesos són ajustats d'acord amb la suma pesant de les entrades (la xarxa). Al perceptró estàndard, la xarxa passa a la funció d'activació i la sortida de la funció és usada per ajustar els pesos.

Definició

Adaline ( ADA ptive LIN ear E lement) és un tipus de xarxa neuronal que generalment es conforma d'una sola capa de n neurones (per tant n valors de sortida) amb m entrades amb les següents característiques:

• Les m entrades representen un vector ( x ) d'entrada que pertany a l'espai $R^{m}$
• Per cada neurona, hi ha un vector w de pesos sinàptics que indiquen la força de connexió entre els valors d'entrada i la neurona
• El vector w de cada neurona igual que el vector x d'entrada també és un vector de l'espai $R^{m}$
• Hi ha una constant $\theta$ anomenada desplaçament que sol considerar-
• Cada neurona representa l'avaluació d'una funció d'activació, en el cas de la xarxa Adaline la funció $i=f(n)=n$
• El valor que entra a la i-èsima neurona es pot determinar com: $n_{i}=\sum _{j}^{n}x_{j}w_{ij}+\theta _{i}$.

Cada neurona representa l'avaluació d'una funció, anomenada funció d'activació , que en el cas de la xarxa Adaline és: $i=n$, és a dir, el valor que surt de cada neurona (i) és igual al valor que entra en la funció (n).

Cal observar que el valor n que entra a cada neurona inclou el producte punt entre el vector d'entrada x amb el vector w el resultat és sumat amb la constant $\theta$.

El nombre de sortides de la xarxa Adaline és igual al nombre de neurones que té aquesta i normalment es representa pel vector i que pertany a l'espai $R^{n}$.

L'arquitectura de la xarxa Adaline és la mateixa que la del perceptró, excepte per la funció d'activació que els seus neurones utilitzen.

Més formalment, el valor de sortida de la i-èsima neurona es pot trobar per:

$y_{i}=f\left(\sum _{j}^{n}x_{j}w_{ij}+\theta _{i}\right)=\sum _{j}^{n}x_{j}w_{ij}+\theta _{i}$

Algorisme d'aprenentatge

Modell ADALINE

Assumim que:

• $\mathrm {H}$ és la taxa d'aprenentatge (alguna constant)
• D és la sortida desitjada
• O és la sortida actual

llavors els pesos són actualitzats de la següent manera $w\leftarrow w+\eta (do)x$. El ADALINE convergeix a l'error quadràtic que és $E=(do)^{2}$. Per a una demostració més exhaustiva, veure Adaline (Adaptive Linear)

Avantatges

Pel que fa al perceptró el Adaline té l'avantatge que la seva gràfica d'error és un hiperparaboloide que posseeix o bé un únic mínim global, o bé una recta d'infinits mínims, tots ells globals. Això evita la gran quantitat de problemes que dona el perceptró a l'hora de l'entrenament pel fet que la seva funció d'error (també anomenada de cost) té nombrosos mínims locals.

Aplicacions

• Associació de patrons : es pot aplicar a aquest tipus de problemes sempre que els patrons siguin linealment separables.

En el camp del processament de senyals:

• Filtres de soroll : Netejar soroll de senyals transmissors d'informació.
• Filtres adaptatius : Un adaline és capaç de predir el valor d'un senyal en l'instant t+1 si es coneix el valor de la mateixa en els p instants anteriors (p és> 0 i el seu valor depèn del problema). L'error de la predicció serà major o menor segons quins senyal vulguem predir. Si el senyal es correspon a una sèrie temporal el Adaline, passat un temps, serà capaç de donar prediccions exactes.

Es poden combinar múltiples Adalines formant el que s'anomena el Madalina.