Funció d'activació

Esquema de blocs d'un perceptró: entrades, suma d'entrades, funció d'Activació i sortida

Funció d'Activació Lògica

A les xarxes neuronals artificials, la funció d'activació d'un node defineix la sortida d'aquest node donada una entrada o un conjunt d'entrades. Un circuit integrat estàndard es pot veure com una xarxa digital de funcions d'activació que pot ser "ON" (1) o "OFF" (0), segons l'entrada. Això és similar al perceptró lineal de les xarxes neuronals. Tanmateix, només les funcions d'activació no lineals permeten que aquestes xarxes calculin problemes no trivials utilitzant només un nombre reduït de nodes, i aquestes funcions d'activació s'anomenen no linealitats .

Les funcions d'activació més habituals es poden dividir en tres categories: funcions de cresta, funcions radials i funcions de plec.

La taula següent compara les propietats de diverses funcions d'activació més usuals :

Nom	Gràfic	Equació	Derivada	Validesa	Ordre de continuïtat	Derivable
Identitat/Rampa		$f(x)=x$	$f'(x)=1$	$(-\infty ,\infty )$	$C^{\infty }$	Sí
Esglaó/Heaviside		$f(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$	$f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x\neq 0\\?&{\mbox{si}}&x=0\end{array}}\right.$	$\{0,1\}$	$C^{-1}$	NO
Lògica (o esglaó suau, o sigmoide)		$f(x)={\frac {1}{1+{\rm {e}}^{-x}}}$	$f'(x)=f(x)(1-f(x))$	$(0,1)$	$C^{\infty }$	Sí
Tangent hiperbòlica		$f(x)=\tanh(x)={\frac {2}{1+{\rm {e}}^{-2x}}}-1$	$f'(x)=1-f(x)^{2}$	$(-1,1)$	$C^{\infty }$	Sí
Arc tangent		$f(x)=\tan ^{-1}(x)$	$f'(x)={\frac {1}{x^{2}+1}}$	$(-{\frac {\pi }{2}},{\frac {\pi }{2}})$	$C^{\infty }$	Sí
Signe suau		$f(x)={\frac {x}{1+|x|}}$	$f'(x)={\frac {1}{(1+|x|)^{2}}}$	$(-1,1)$	$C^{1}$	Sí
Unitat de rectifició lineal (ReLU)		$f(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$	$f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$	$[0,\infty [$	$C^{0}$	Sí
Unitat de rectificació lineal paramètric (PReLU)		$f(x)=\left\{{\begin{array}{rcl}\alpha x&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$	$f'(x)=\left\{{\begin{array}{rcl}\alpha &{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$	$(-\infty ,\infty )$	$C^{0}$	Sí
Unitat exponencial lineal (ELU)		$f(x)=\left\{{\begin{array}{rcl}\alpha ({\rm {e}}^{x}-1)&{\mbox{si}}&x<0\\x&{\mbox{si}}&x\geq 0\end{array}}\right.$	$f'(x)=\left\{{\begin{array}{rcl}f(x)+\alpha &{\mbox{si}}&x<0\\1&{\mbox{si}}&x\geq 0\end{array}}\right.$	$(-\alpha ,\infty )$	$C^{1}$ si $\alpha =1$	Sí
Unitat de rectificació lineal suau (SoftPlus)		$f(x)=\ln(1+{\rm {e}}^{x})$	$f'(x)={\frac {1}{1+{\rm {e}}^{-x}}}$	$(0,\infty )$	$C^{\infty }$	Sí
Identitat corba		$f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x$	$f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1$	$(-\infty ,\infty )$	$C^{\infty }$	Sí
Exponencial suau paramètrica (soft exponential)		$f(\alpha ,x)=\left\{{\begin{array}{rcl}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\mbox{si}}&\alpha <0\\x&{\mbox{si}}&\alpha =0\\{\frac {{\rm {e}}^{\alpha x}-1}{\alpha }}+\alpha &{\mbox{si}}&\alpha >0\end{array}}\right.$	$f'(\alpha ,x)=\left\{{\begin{array}{rcl}{\frac {1}{1-\alpha (\alpha +x)}}&{\mbox{si}}&\alpha <0\\{\rm {e}}^{\alpha x}&{\mbox{si}}&\alpha \geq 0\end{array}}\right.$	$(-\infty ,\infty )$	$C^{\infty }$	Sí
Sinusoide		$f(x)=\sin(x)$	$f'(x)=\cos(x)$	$[-1,1]$	$C^{\infty }$	Sí
Sinus cardinal		$f(x)=\left\{{\begin{array}{rcl}1&{\mbox{si}}&x=0\\{\frac {\sin(x)}{x}}&{\mbox{si}}&x\neq 0\end{array}}\right.$	$f'(x)=\left\{{\begin{array}{rcl}0&{\mbox{si}}&x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\mbox{si}}&x\neq 0\end{array}}\right.$	$[\approx -.217234,1]$	$C^{\infty }$	Sí
Funció gaussienne		$f(x)={\rm {e}}^{-x^{2}}$	$f'(x)=-2x{\rm {e}}^{-x^{2}}$	$]0,1]$	$C^{\infty }$	Sí