Màquina vectorial de suport de mínims quadrats

Les dades de l'espiral: $y_{i}=1$ per al punt de dades blau, $y_{i}=-1$ per al punt de dades vermell

Les màquines de vectors de suport de mínims quadrats (LS-SVM) per a estadístiques i modelització estadística, són versions de mínims quadrats de màquines de vectors de suport (SVM), que són un conjunt de mètodes d'aprenentatge supervisat relacionats que analitzen dades i reconeixen patrons, i que s'utilitzen per a la classificació i l'anàlisi de regressió. En aquesta versió es troba la solució resolent un conjunt d'equacions lineals en lloc d'un problema de programació quadràtica convexa (QP) per als SVM clàssics. Els classificadors SVM de mínims quadrats van ser proposats per Johan Suykens i Joos Vandewalle. Els LS-SVM són una classe de mètodes d'aprenentatge basats en el nucli.

De la màquina de vector de suport a la màquina de vector de suport de mínims quadrats

Donat un conjunt d'entrenament $\{x_{i},y_{i}\}_{i=1}^{N}$ amb dades d'entrada $x_{i}\in \mathbb {R} ^{n}$ i les etiquetes de classe binàries corresponents $y_{i}\in \{-1,+1\}$, el classificador SVM, segons la formulació original de Vapnik, compleix les condicions següents:

${\begin{cases}w^{T}\phi (x_{i})+b\geq 1,&{\text{si }}\quad y_{i}=+1,\\w^{T}\phi (x_{i})+b\leq -1,&{\text{si }}\quad y_{i}=-1,\end{cases}}$

que equival a

$y_{i}\left[{w^{T}\phi (x_{i})+b}\right]\geq 1,\quad i=1,\ldots ,N,$

on $\phi (x)$ és el mapa no lineal de l'espai original a l'espai de dimensions altes o infinites.

Interpretació bayesiana per a LS-SVM

Smola et al ha proposat una interpretació bayesiana de la SVM. Van demostrar que l'ús de diferents nuclis en SVM es pot considerar que defineix diferents distribucions de probabilitats prèvies a l'espai funcional, com $P[f]\propto \exp \left({-\beta \left\|{{\hat {P}}f}\right\|^{2}}\right)$ . Aquí $\beta >0$ és una constant i ${\hat {P}}$ és l'operador de regularització corresponent al nucli seleccionat.

MacKay va desenvolupar un marc general d'evidència bayesiana, i MacKay l'ha utilitzat per al problema de la regressió, la xarxa neuronal directa i la xarxa de classificació. Conjunt de dades proporcionat $D$, un model $\mathbb {M}$ amb vector paràmetre $w$ i l'anomenat hiperparàmetre o paràmetre de regularització $\lambda$, la inferència bayesiana es construeix amb 3 nivells d'inferència:

• Al nivell 1, per a un valor donat de , el primer nivell d'inferència infereix la distribució posterior de pel domini bayesià$p(w|D,\lambda ,\mathbb {M} )\propto p(D|w,\mathbb {M} )p(w|\lambda ,\mathbb {M} ).$
• El segon nivell d'inferència determina el valor de $\lambda$, maximitzant $p(\lambda |D,\mathbb {M} )\propto p(D|\lambda ,\mathbb {M} )p(\lambda |\mathbb {M} ).$
• El tercer nivell d'inferència en el marc d'evidència classifica diferents models examinant les seves probabilitats posteriors $p(\mathbb {M} |D)\propto p(D|\mathbb {M} )p(\mathbb {M} ).$