Teorema di Gauss-Markov

Da Wikipedia, l'enciclopedia libera.

Il teorema di Gauss-Markov, così chiamato in onore dei matematici Carl Friedrich Gauss e Andrej Markov, è un teorema in statistica matematica che afferma che in un modello lineare in cui i disturbi hanno valore atteso nullo e sono incorrelati e omoschedastici, gli stimatori lineari corretti più efficienti sono gli stimatori ottenuti con il metodo dei minimi quadrati.

[modifica] Enunciato del teorema

In termini più formali, si consideri un modello lineare in notazione matriciale:

$\ y=X\beta + \varepsilon$

dove $\ \textrm{E}[\varepsilon]=0$ e $\ \textrm{E}[\varepsilon\varepsilon']=\sigma^{2}I$ ; essendo:

$\ \hat{\beta}=(X'X)^{-1}X'y$

il vettore degli stimatori dei minimi quadrati, qualunque stimatore alternativo ottenuto come combinazione lineare degli $\ y$ :

$\ b = Ly$

è tale per cui:

$\ \textrm{var}\left(b\right)-\textrm{var}\left(\hat{\beta}\right)=\textrm{E}\left(b-\beta\right)\left(b-\beta\right)'-\textrm{E}\left(\hat{\beta}-\beta\right)\left(\hat{\beta}-\beta\right)'$

è una matrice definita positiva.

[modifica] Dimostrazione

Si consideri un generico stimatore lineare $\ b=Ly$ ; si decomponga la matrice $\ L$ come:

$\ L=D+(X'X)^{-1}X'$

Si impone a questo punto che $\ b$ sia uno stimatore corretto, ossia:

$\ \textrm{E}\left[b\right]=\textrm{E}\left[Dy+(X'X)^{-1}X'y\right]=\beta$

Evidentemente, ciò è possibile solo se $\ DX=0$ (e, ovviamente, $\ \textrm{E}[L\varepsilon]=\textrm{E}[D\varepsilon]=0$ ). La matrice varianze-covarianze di $\ b$ è data da:

$\ \textrm{E}(b-\beta)(b-\beta)'=\textrm{E}(D+(X'X)^{-1}X')\varepsilon\varepsilon'(D+(X'X)^{-1}X')'=\sigma^{2}(DD'+(X'X)^{-1})$

poiché la correttezza di $\ b$ impone che $\ DX=0$ . Nell'espressione sopra si riconosce la matrice varianze-covarianze degli stimatori dei minimi quadrati $\ \textrm{var}(\hat{\beta})=\sigma^{2}(X'X)^{-1}$ ; è immediato osservare che la matrice $\ \sigma^{2}DD'=\textrm{var}(b)-\textrm{var}(\hat{\beta})$ è (semi-)definita positiva, in quanto $\ \sigma^{2}>0$ e: