Màquina de Turing neural
![](http://upload.wikimedia.org/wikipedia/commons/thumb/4/4f/NeuralTuringMachine.png/550px-NeuralTuringMachine.png)
Una màquina de Turing neural (amb acrònim anglès NTM) és un model de xarxa neuronal recurrent d'una màquina de Turing. L'enfocament va ser publicat per Alex Graves i altres el 2014.[1] Els NTM combinen les capacitats de concordança de patrons difusos de les xarxes neuronals amb el poder algorítmic dels ordinadors programables.
Un NTM té un controlador de xarxa neuronal acoblat a recursos de memòria externs, amb els quals interactua mitjançant mecanismes d'atenció. Les interaccions de memòria són diferenciables d'extrem a extrem, cosa que permet optimitzar-les mitjançant el descens de gradients.[2] Un NTM amb un controlador de xarxa de memòria a llarg termini (LSTM) pot inferir algorismes simples com ara la còpia, l'ordenació i la recuperació associativa només a partir d'exemples.[3]
Els autors del document original de NTM no van publicar el seu codi font.[4] La primera implementació estable de codi obert es va publicar el 2018 a la 27a Conferència Internacional sobre Xarxes Neuronals Artificials, rebent el premi al millor article.[5][6] Existeixen altres implementacions de codi obert de NTM, però a partir del 2018 no són prou estables per a l'ús de producció.[7][8][9][10][11][12][13] Els desenvolupadors informen que els gradients de la seva implementació de vegades es converteixen en NaN durant l'entrenament per motius desconeguts i fan que l'entrenament falli; [11] [12] [10] informen de convergència lenta; [8] [7] o no informen de la velocitat d'aprenentatge de la seva implementació.[13] [9]
Els ordinadors neuronals diferenciables són una conseqüència de les màquines Neural Turing, amb mecanismes d'atenció que controlen on està activa la memòria i milloren el rendiment.[14]
Referències[modifica]
- ↑ Neural Turing Machines, 2014.
- ↑ «Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu» (en anglès). [Consulta: May 17, 2016].
- ↑ Neural Turing Machines, 2014.
- ↑ Neural Turing Machines, 2014.
- ↑ Collier, Mark & Beel, Joeran, Implementing Neural Turing Machines, ISBN 9783030014230, DOI 10.1007/978-3-030-01424-7_10
- ↑ «MarkPKCollier/NeuralTuringMachine» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 7,0 7,1 «snowkylin/ntm» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 8,0 8,1 «chiggum/Neural-Turing-Machines» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 9,0 9,1 «yeoedward/Neural-Turing-Machine» (en anglès). GitHub, 13-09-2017. [Consulta: 20 octubre 2018].
- ↑ 10,0 10,1 «camigord/Neural-Turing-Machine» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 11,0 11,1 «carpedm20/NTM-tensorflow» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 12,0 12,1 «snipsco/ntm-lasagne» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ 13,0 13,1 «loudinthecloud/pytorch-ntm» (en anglès). GitHub. [Consulta: 20 octubre 2018].
- ↑ Administrator. «DeepMind's Differentiable Neural Network Thinks Deeply» (en anglès). www.i-programmer.info. [Consulta: 20 octubre 2016].