Regressió lineal bayesiana

Estadística bayesiana
Teoria
A priori A posteriori Eficiència bayesiana Probabilitat bayesiana Teorema de Bayes Regla de Bayes Factor de Bayes Inferència bayesiana Xarxa bayesiana Principi d'indiferència Principi de màxima entropia Mètode empíric bayesià Criteri d'informació bayesià Interval creïble Distribució a priori conjugada Distribució posterior predictiva Estimació màxima a posteriori Verosimilitud Regla de Cromwell Teorema de Bernstein–von Mises
Tècniques
Regressió lineal bayesiana Estimador bayesià Computació bayesiana aproximada

La regressió lineal bayesiana és un tipus de modelització condicional en què la mitjana d'una variable es descriu mitjançant una combinació lineal d'altres variables, amb l'objectiu d'obtenir la probabilitat posterior dels coeficients de regressió (així com altres paràmetres que descriuen la distribució de la regressió y) i permet, finalment, la predicció fora de la mostra del regressand (sovint etiquetat $y$) condicional als valors observats dels regressors (normalment $X$). La versió més senzilla i més utilitzada d'aquest model és el model lineal normal, en el qual $y$ donat $X$ Es distribueix gaussià. En aquest model, i sota una elecció particular de probabilitats a priori per als paràmetres —els anomenats priors conjugats—, el posterior es pot trobar analíticament. Amb anteriors escollits de manera més arbitrària, els posteriors generalment s'han d'aproximar.

Configuració del model

Considereu un problema de regressió lineal estàndard, en el qual for $i=1,\ldots ,n$ especifiquem la mitjana de la distribució condicional de $y_{i}$ donat a $k\times 1$ vector predictor $\mathbf {x} _{i}$:

$$y_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},$$

on ${\boldsymbol {\beta }}$ és un $k\times 1$ vector, i el $\varepsilon _{i}$ són variables aleatòries independents i de distribució normal idèntica:

$$\varepsilon _{i}\sim N(0,\sigma ^{2}).$$

Això correspon a la funció de probabilitat següent:

$$\rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right).$$

La solució de mínims quadrats ordinària s'utilitza per estimar el vector de coeficients utilitzant el pseudoinvers de Moore-Penrose:

$${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$$

on $\mathbf {X}$ és el $n\times k$ matriu de disseny, cada fila de la qual és un vector predictor $\mathbf {x} _{i}^{\mathsf {T}}$; i $\mathbf {y}$ és la columna $n$ -vector $[y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}$.

Aquest és un enfocament freqüentista i suposa que hi ha prou mesures per dir alguna cosa significativa ${\boldsymbol {\beta }}$. En l'enfocament bayesià, les dades es complementen amb informació addicional en forma d'una distribució de probabilitat prèvia. La creença prèvia sobre els paràmetres es combina amb la funció de probabilitat de les dades segons el teorema de Bayes per produir la creença posterior sobre els paràmetres. ${\boldsymbol {\beta }}$ i $\sigma$. El prior pot adoptar diferents formes funcionals segons el domini i la informació disponible a priori.

Atès que les dades comprenen tots dos $\mathbf {y}$ i $\mathbf {X}$, el focus només en la distribució de $\mathbf {y}$ condicionat a $\mathbf {X}$ necessita justificació. De fet, una anàlisi bayesiana "completa" requeriria una probabilitat conjunta $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ juntament amb un prior $\rho (\beta ,\sigma ^{2},\gamma )$, on $\gamma$ simbolitza els paràmetres de la distribució per $\mathbf {X}$. Només sota el supòsit d'exogeneïtat (feble) es pot tenir en compte la probabilitat conjunta $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$. L'última part normalment s'ignora sota el supòsit de conjunts de paràmetres disjunts. Més encara, sota supòsits clàssics $\mathbf {X}$ es consideren escollits (per exemple, en un experiment dissenyat) i per tant té una probabilitat coneguda sense paràmetres.