Xarxa neuronal recurrent bidireccional
Les xarxes neuronals recurrents bidireccionals (amb acrònim anglès BRNN) connecten dues capes amagades de direccions oposades a la mateixa sortida. Amb aquesta forma d'aprenentatge profund generatiu, la capa de sortida pot obtenir informació d'estats passats (enrere) i futurs (en endavant) simultàniament. Inventats el 1997 per Schuster i Paliwal,[1] es van introduir els BRNN per augmentar la quantitat d'informació d'entrada disponible a la xarxa. Per exemple, el perceptró multicapa (MLP) i la xarxa neuronal amb retard de temps (TDNN) tenen limitacions en la flexibilitat de les dades d'entrada, ja que requereixen que les seves dades d'entrada siguin arreglades. Les xarxes neuronals recurrents estàndard (RNN) també tenen restriccions, ja que no es pot accedir a la informació d'entrada futura des de l'estat actual. Al contrari, els BRNN no requereixen que les seves dades d'entrada siguin arreglades. A més, la seva informació d'entrada futura és accessible des de l'estat actual.[2]
Els BRNN són especialment útils quan es necessita el context de l'entrada. Per exemple, en el reconeixement d'escriptura, el rendiment es pot millorar mitjançant el coneixement de les lletres situades abans i després de la lletra actual.
El principi de BRNN és dividir les neurones d'un RNN regular en dues direccions, una per a la direcció del temps positiva (estats cap endavant) i una altra per a la direcció del temps negativa (estats cap enrere). La sortida d'aquests dos estats no està connectada a les entrades dels estats de direcció oposada. L'estructura general de RNN i BRNN es pot representar al diagrama de la dreta. Mitjançant l'ús de dues direccions de temps, es pot utilitzar la informació d'entrada del passat i el futur del període actual, a diferència de l'RNN estàndard que requereix retards per incloure informació futura.[3]
Les aplicacions de BRNN inclouen :
- Reconeixement de la parla (combinat amb memòria a curt termini) [4][5]
- Traducció
- Reconeixement manuscrit
- Predicció de l'estructura de proteïnes
- Etiquetatge de part del discurs
- Anàlisi de dependències
- Extracció d'entitats
Referències[modifica]
- ↑ 1,0 1,1 Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on 45.11 (1997): 2673-2681.2. Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan
- ↑ Salehinejad, Hojjat; Sankar, Sharan; Barfett, Joseph; Colak, Errol; Valaee, Shahrokh «https://mediatum.ub.tum.de/doc/1290195/file.pdf».+Bidirectional LSTM Networks for Improved Phoneme Classification and Recognitio, 2017. arXiv: 1801.01078. Bibcode: 2018arXiv180101078S.
- ↑ Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on 45.11 (1997): 2673-2681.2. Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan
- ↑ Graves, Alex, Santiago Fernández, and Jürgen Schmidhuber. "Bidirectional LSTM networks for improved phoneme classification and recognition." Artificial Neural Networks: Formal Models and Their Applications–ICANN 2005. Springer Berlin Heidelberg, 2005. 799-804.
- ↑ Graves, Alan, Navdeep Jaitly, and Abdel-rahman Mohamed. "Hybrid speech recognition with deep bidirectional LSTM." Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop on. IEEE, 2013.