Legge dei grandi numeri

Da Wikipedia, l'enciclopedia libera.

La legge dei grandi numeri, detta pure legge empirica del caso oppure teorema di Bernoulli (in quanto la sua prima formulazione è dovuta a Jakob Bernoulli), concerne il comportamento della media di una sequenza di n variabili casuali indipendenti ed identicamente distribuite (n misure della stessa grandezza, n lanci della stessa moneta ecc.) al tendere ad infinito della numerosità della sequenza stessa (n).

Un caso particolare della legge dei grandi numeri si ha quando si afferma che la proporzione di successi in n realizzazioni indipendenti di un evento E converge, per n che tende a infinito, alla probabilità di E (vedi esempio).

Indice

1 Legge forte dei grandi numeri
2 Legge debole dei grandi numeri
3 Conseguenze in statistica
4 Esempio
5 Con maggior rigore
- 5.1 Legge debole dei grandi numeri
- 5.2 Legge forte dei grandi numeri
6 Voci correlate

[modifica] Legge forte dei grandi numeri

Se, data una successione di variabili casuali $X 1, X 2,..., X n,...$ indipendenti e identicamente distribuite con media $μ$ , si considera la media calcolata

$\bar{X}_n = \frac{X_1 + X_2 + \cdots + X_n}{n}$

la legge (forte) dei grandi numeri afferma che

$\operatorname{P}\left(\lim_{n\rightarrow\infty}\bar{X}_n=\mu\right)=1,$

ossia la media campionaria converge quasi certamente alla media comune delle $X i$ .

[modifica] Legge debole dei grandi numeri

Se, data una successione di variabili casuali $X 1, X 2,..., X n,...$ aventi la stessa media $μ$ , la stessa varianza finita e indipendenti, si considera la media campionaria

$\bar{X}_n = \frac{X_1 + X_2 + \cdots + X_n}{n}$

la legge (debole) dei grandi numeri afferma che per ogni $\ \varepsilon>0$ :

$\lim_{n\rightarrow\infty}\operatorname{P}\left(\left|\bar{X}_n-\mu\right|<\varepsilon\right)=1.$

ossia la media campionaria converge in probabilità alla media comune delle $X i$ .

[modifica] Conseguenze in statistica

La legge dei grandi numeri garantisce che la media campionaria è uno stimatore consistente della media di una popolazione; vale a dire che grazie alla legge dei grandi numeri possiamo fidarci che la media che calcoliamo a partire da un numero sufficiente di campioni sia sufficientemente vicina alla media vera.

[modifica] Esempio

Supponiamo di avere un evento (come il fatto che lanciando un dado esca il sei) con probabilità sconosciuta $p$ (sconosciuta perché il dado potrebbe essere truccato, o semplicemente difettoso: non possiamo saperlo in anticipo).

Eseguendo n lanci consecutivi otteniamo una stima della probabilità di fare sei con quel dado, data da

$\bar{X}_n = \frac{X_1 + X_2 + ... + X_n}{n}$

dove le X della somma rappresentano l'esito dei lanci e valgono uno se in quel lancio è uscito il sei, o zero se è uscito un altro numero. La legge dei grandi numeri afferma semplicemente che, tante più prove usiamo per calcolare la stima, tanto più questa sarà vicina, probabilmente, alla probabilità reale dell'evento p.

Se la stima X(n) che calcoleremo sarà molto vicina a un sesto, che è la probabilità teorica che esca il sei per un dado perfetto, potremo essere ragionevolmente certi che il dado in questione non è polarizzato per il sei (per essere sicuri che il dado non sia truccato in nessun modo dovremmo ripetere il test anche per gli altri cinque numeri). Che cosa significhi ragionevolmente sicuri dipende da quanto vogliamo essere precisi nel nostro test: con dieci prove avremmo una stima grossolana, con cento ne otterremmo una molto più precisa, con mille ancora di più e così via: il valore di n che siamo disposti ad accettare come sufficiente dipende dal grado di casualità che riteniamo necessario per il dado in questione.

[modifica] Con maggior rigore

Sia $\{(\Omega_i, \mathcal{A}_i, \operatorname{P}_i)\}_{i\in\mathbb{N}}$ una successione di spazi di probabilità. Si consideri lo spazio prodotto $(\Omega, \mathcal{A}, \operatorname{P})$ e in esso una successione bernoulliana di eventi (stocasticamente indipendenti e con probabilità costante p) $\{E_k\}_{k\in\mathbb{N}}\subseteq\mathcal{A}$ . Assegnato un elemento $\omega\in\Omega$ si definisce la frequenza di successo in n prove $\phi_n:\Omega\to\mathbb{R}, \omega\mapsto\frac{N_n}{n}$ , dove $N_n=\#\{i:\omega\in E_i\}^n_{i=1}$ indica il numero di successi ottenuti in n prove.

[modifica] Legge debole dei grandi numeri

Nelle condizioni sopra enunciate, si ha: $\forall\varepsilon\in\mathbb{R}^+_0, \lim_{n\to\infty}\operatorname{P}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\}=0$ .

Dimostrazione: fissato $\varepsilon$ , si consideri la disuguaglianza di Bienaymé-Tchebicheff; $\operatorname{P}\{\omega\in\Omega:|\phi_{n}(\omega)-\operatorname{E}(\phi_n)|>\varepsilon\}\leq\frac{\operatorname{var}(\phi_n)}{\varepsilon^2}$; poiché $N n$ ha distribuzione binomiale, si ha $\operatorname{E}(N_n)=pn$ e $\operatorname{var}(N_n)=np(1-p)$ , da cui $\operatorname{E}(\phi_n)=p$ e $\operatorname{var}(\phi_n)=\frac{1}{n^2}np(1-p)=\frac{p(1-p)}{n}$ . Sostituendo, si ottiene:; $\operatorname{P}\{\omega\in\Omega:|\phi_{n}(\omega)-p|>\varepsilon\}\leq\frac{p(p-1)}{n\varepsilon^2}$; pertanto, poiché $lim_{n\to\infty}\frac{p(p-1)}{n\varepsilon^2} =0$ ,; $\forall\varepsilon, \lim_{n\to\infty}\operatorname{P}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\}\leq 0$; Ma $\operatorname{P}:\mathcal(A)\to[0;1]$ , da cui la legge debole per confronto.

La legge debole dei grandi numeri non assicura che, comunque scelto $\varepsilon>0$ , quasi certamente a partire da un certo $n_\varepsilon$ il valore $| φ n - p |$ si mantenga minore o uguale a $\varepsilon$ , ovvero che l'insieme $\{\omega\in\Omega: \exists n_\varepsilon:\forall n>n_\varepsilon,|\phi_n(\omega)-p|>\varepsilon\}$ sia $\operatorname{P}$ -trascurabile. Infatti, esplicitando la definizione di limite, si trova: $\forall\varepsilon>0,\forall\eta>0,\exists n_{\varepsilon,\eta}:\forall n\geq n_{\varepsilon,\eta},\operatorname{P}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\}\leq\eta$ ma niente sembra assicurare che $n_{\varepsilon,\eta}$ non diverga per $\eta\to 0$ .

[modifica] Legge forte dei grandi numeri

Ciò è invece assicurato, nelle medesime condizioni, dalla proposizione: $\operatorname{P}\{\omega\in\Omega:\lim_{n\to\infty}\phi_n(\omega)=p\}=1$ che, in effetti, implica sia $\forall\varepsilon\in\mathbb{R}^+_0, \operatorname{P}\{\omega\in\Omega: \exists n_\varepsilon:\forall n>n_\varepsilon,|\phi_n(\omega)-p|>\varepsilon\}=0$ che la legge debole dei grandi numeri.

Dimostrazione delle due implicazioni: la legge forte può essere formulata, esplicitando la Definizione di limite e passando al complementare, come:; $\operatorname{P}\{\omega\in\Omega:\exists\varepsilon\in\mathbb{R}^+_0: \forall n_\varepsilon\in\N, \exists n>n_\varepsilon: |\phi_n(\omega)-p|>\varepsilon\}=0$; che a sua volta è equivalente, trasformando il quantificatore esistenziale in un'unione, a:; $\operatorname{P}(\bigcup_{\varepsilon\in\mathbb{R}^+_0} \{\omega\in\Omega: \forall n_\varepsilon\in\N, \exists n>n_\varepsilon: |\phi_n(\omega)-p|>\varepsilon\})=0$; e per monotonia di $\operatorname{P}$; $\forall\varepsilon\in\mathbb{R}^+_0, \operatorname{P}\{\omega\in\Omega: \exists n_\varepsilon\in\N:\forall n>n_\varepsilon,|\phi_n(\omega)-p|>\varepsilon\} \leq$; $\leq\operatorname{P}(\bigcup_{\varepsilon\in\mathbb{R}^+_0} \{\omega\in\Omega: \forall n_\varepsilon\in\N, \exists n>n_\varepsilon: |\phi_n(\omega)-p|>\varepsilon\})$; da cui, per confronto, la prima implicazione.; Trasformando anche gli altri due quantificatori in operazioni insiemistiche, si ha:; $0=\operatorname{P}\{\omega\in\Omega: \exists n_\varepsilon\in\N:\forall n>n_\varepsilon,|\phi_n(\omega)-p|>\varepsilon\}=$; $=\operatorname{P}(\bigcap_{n_\varepsilon\in\N}\bigcup_{n>n_\varepsilon}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\}) =$; ma, si è in presenza dell'intersezione di una successione non crescente di insiemi, dunque per monotonia di $\operatorname{P}$ , si ha:; $=\lim_{n_\varepsilon\to\infty}\operatorname{P}(\bigcup_{n>n_\varepsilon}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\})\geq$; e ancora:; $\geq\lim_{n\to\infty}\{\omega\in\Omega: |\phi_n(\omega)-p|>\varepsilon\}$; da cui anche la seconda implicazione, ricordando che questo è valido per ogni $\varepsilon$ .

Dimostrazione della legge forte: si è già visto che l'asserto è equivalente a:; $\operatorname{P}(\bigcup_{\varepsilon\in\mathbb{R}^+_0} \{\omega\in\Omega: \forall n_\varepsilon\in\N, \exists n>n_\varepsilon: |\phi_n(\omega)-p|>\varepsilon\})=0$; Discretizzando, come consueto nel caso dei limiti, si ha:; $\operatorname{P}(\bigcup_{k\in\mathbb{N}_0} \{\omega\in\Omega: \forall n_k\in\N, \exists n>n_k: |\phi_n(\omega)-p|>\frac{1}{k}\})=0$; Per subadditività; $\operatorname{P}(\bigcup_{k\in\mathbb{N}_0} \{\omega\in\Omega: \forall n_k\in\N, \exists n>n_k: |\phi_n(\omega)-p|>\frac{1}{k}\})\leq$; $\leq\sum_{k\in\mathbb{N}_0} \operatorname{P}\{\omega\in\Omega: \forall n_k\in\N, \exists n>n_\varepsilon:|\phi_n(\omega)-p|>\frac{1}{k}\}$; Dunque, se quest'ultima espressione sarà nulla, si sarà dimostrata la legge forte. Essendo $\operatorname{P}$ non negativa, si dovrà avere:; $\forall k\in\mathbb{N}_0, \operatorname{P}(\limsup_{n\to\infty}\{\omega\in\Omega: |\phi_n(\omega)-p|>\frac{1}{k}\})=0$; si vuole mostrare che questo è vero considerando la sottosuccessione $\phi_{n^2}$ . Si vuole applicare il lemma di Borel-Cantelli, pertanto si verifica che converga l'espressione; $\sum^{\infty}_{n=1}\operatorname{P}\{\omega\in\Omega: |\phi_{n^2}(\omega)-p|>\frac{1}{k}\}$; Per la disuguaglianza di Bienaymé-Tchebicheff si trova:; $\forall k,\forall n,\operatorname{P}\{\omega\in\Omega: |\phi_{n^2}(\omega)-p|>\frac{1}{k}\}\leq\textrm{var}(\phi_{n^2})k^2=k^2\frac{p(1-p)}{n^2}$; da cui:; $\sum^{\infty}_{n=1}\operatorname{P}\{\omega\in\Omega: |\phi_{n^2}(\omega)-p|>\frac{1}{k}\}\leq p(1-p)k^2\sum^{\infty}_{n=1}\frac{1}{n^2}$; Ma questa serie è notoriamente convergente. Pertanto,; $\forall k\in\mathbb{N}_0, \operatorname{P}(\limsup_{n\to\infty}\{\omega\in\Omega: |\phi_{n^2}(\omega)-p|>\frac{1}{k}\})=0$; Si noti ora che ogni numero naturale n è compreso tra due quadrati consecutivi:; $\forall n\in\N, \exists q\in\N: q^2\leq n<(q+1)^2$; da cui; $\frac{N_n}{(q+1)^2}\leq\phi_n\leq\frac{N_n}{q^2}$; si noti ora che $n - q 2$ è la massima differenza possibile tra $N_{q^2}$ e $N n$ , da cui:; $N_{q^2}\leq N_n\leq N_{q^2}+(n-q^2)$; pertanto:; $\frac{N_{q^2}}{(q+1)^2}\leq\frac{N_n}{(q+1)^2}\leq\phi_n\leq\frac{N_n}{q^2}\leq\frac{N_{q^2}+(n-q^2)}{q^2}$; ora però si ha $n-q^2\leq (q+1)^2-q^2$ , dunque:; $\frac{N_{q^2}}{q^2}\frac{q^2}{(q+1)^2}\leq\phi_n\leq\frac{N_{q^2}}{q^2}+\frac{(q+1)^2-q^2}{q^2}$; passando al limite ( $n\to\infty \Rightarrow q\to\infty$ )e applicando il risultato ottenuto per $\phi_{n^2}$ , si ottiene che, quasi certamente:; $p\cdot 1=p\lim_{q\to\infty}\frac{q^2}{(q+1)^2}\leq\lim_{n\to\infty}\phi_n\leq p+\lim_{q\to\infty}\frac{q^2+2q+1-q^2}{q^2}=p+0$; il che conclude la dimostrazione.