Xarxa neuronal binària

La xarxa neuronal binària és una xarxa neuronal artificial, on els pesos de coma flotant utilitzats habitualment se substitueixen per binaris.

Estalvia emmagatzematge i càlcul, i serveix com a tècnica per a models profunds en dispositius amb recursos limitats. L'ús de valors binaris pot augmentar l'acceleració fins a 58 vegades. La precisió i la capacitat d'informació de la xarxa neuronal binària es poden controlar manualment. Les xarxes neuronals binàries no aconsegueixen la mateixa precisió que les seves contraparts de precisió total, però s'estan fent millores per tancar aquesta bretxa.

El concepte de xarxes neuronals binàries és molt senzill, quan cada valor dels tensors de pes i activació es representa amb +1 i -1 de manera que es poden emmagatzemar en 1 bit en lloc de precisió completa (-1 es representa com 0 a 1- Bit nombres enters). La conversió de valors de punt flotant a valors binaris és utilitzar la funció de signe que es mostra a continuació:

$$\operatorname {sgn} x:={\begin{cases}-1&{\text{if }}x<0,\\0&{\text{if }}x=0,\\1&{\text{if }}x>0.\end{cases}}$$

L’inconvenient principal de les xarxes neuronals binàries ha estat el fet que no han pogut aconseguir una precisió tan bona com les xarxes més profundes de precisió. Però això ha canviat lentament i cada any (més com cada mes amb el nombre de treballs publicats), hi ha hagut molts avenços amb la bretxa que es tanca. Com que es centra molt més en la implementació de models d’aprenentatge automàtic en dispositius que tinguin recursos informàtics limitats, hi haurà un augment dels esforços de recerca en aquest camp en els propers anys.