Mínims quadrats ponderats

Mínims quadrats ponderats (WLS), també conegut com a regressió lineal ponderada, és una generalització dels mínims quadrats ordinaris i la regressió lineal en què el coneixement de la variància desigual de les observacions (heteroscedasticitat) s'incorpora a la regressió. WLS també és una especialització de mínims quadrats generalitzats, quan totes les entrades fora de la diagonal de la matriu de covariància dels errors, són nul·les.

Formulació

L'ajust d'un model a un punt de dades es mesura pel seu residu, $r_{i}$, definit com la diferència entre un valor mesurat de la variable dependent, $y_{i}$ i el valor previst pel model, $f(x_{i},{\boldsymbol {\beta }})$:

$$r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$$

Si els errors no estan correlacionats i tenen la mateixa variància, llavors la funció

$$S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},$$

es minimitza a ${\boldsymbol {\hat {\beta }}}$, de tal manera que ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$.

El teorema de Gauss-Markov mostra que, quan això és així, ${\hat {\boldsymbol {\beta }}}$ és el millor estimador lineal no esbiaixat (BLAU). Tanmateix, si les mesures no estan correlacionades però tenen incerteses diferents, es podria adoptar un enfocament modificat. Aitken va demostrar que quan es minimitza una suma ponderada de residus al quadrat, ${\hat {\boldsymbol {\beta }}}$ és el BLAU si cada pes és igual al recíproc de la variància de la mesura

$${\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}$$

Les equacions de gradient per a aquesta suma de quadrats són

$$-2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m$$

que, en un sistema lineal de mínims quadrats, donen les equacions normals modificades,

$$\sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.$$

Quan els errors d'observació no estan correlacionats i la matriu de pes, W = Ω ⁻¹, és diagonal, aquests es poden escriure com

$$\mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .$$