Llei dels grans nombres

Una il·lustració de la llei dels grans nombres, amb una sèrie concreta de llançaments d'un dau. A mesura que augmenta el nombre de llançaments, la mitjana dels valors de tots els resultats s'aproxima a 3,5. Mentre que sèries diferents de llançaments poden mostrar un esquema diferent quan encara s'han fet pocs llançaments (a l'esquerra), quan augmenta el nombre de llançaments (a la dreta) les sèries es comporten de manera similar.

En teoria de la probabilitat, la llei dels grans nombres més senzilla és un teorema segons el qual quan el nombre d'observacions d'un fenomen aleatori és molt gran, la freqüència relativa d'un esdeveniment convergeix quasi segurament a la probabilitat de l'esdeveniment. Més generalment, l'expressió lleis dels grans nombres indica una col·lecció de teoremes que tracten del comportament de la mitjana d'una família de variables aleatòries quan el nombre de variables tendeix a infinit (comportament asimptòtic) sota diferents hipòtesis: variables idènticament distribuïdes o no, independència, existència de moments, etc. Cal remarcar que en aquest context la paraula llei és sinònim de teorema.

Atès que hi ha diversos conceptes de convergència de variables aleatòries, es distingeix entre les lleis febles dels grans nombres, on la convergència és en probabilitat, i les lleis fortes, on la convergència és quasi segura. Com que la convergència quasi segura implica la convergència en probabilitat, qualsevol llei forta implica la llei feble sota les mateixes hipòtesis i, per tant, sembla que n'hi hauria prou en estudiar les lleis fortes. Però aquest no és el cas, ja que d'una banda, sota certes hipòtesis només es pot demostrar una llei feble, i d'altra banda, les demostracions de les lleis fortes són, en general, molt més difícils que les de les lleis febles.

La primera llei dels grans nombres va ser establerta per Jacob Bernoullli en 1713, a partir de la qual es van anar produint nombroses extensions i refinaments, assolint-se un cim amb la llei forta d'Andrei Kolmogórov de 1933. Actualment contínua sent un camp de recerca molt actiu.

Gràcies a la llei que hem comentat al principi de l'aproximació de les freqüències relatives d'un esdeveniment a la seva probabilitat, l'anomenada definició freqüentista de la probabilitat queda inclosa com un teorema dins de l'axiomàtica de Kolmogorov. D'altra banda, experimentalment podem:

• Comprovar si són vàlides o no les probabilitats assignades a priori als esdeveniments dels instruments aleatoris suposadament regulars.
• Obtenir de manera aproximada les probabilitats d'esdeveniments d'experiències aleatòries irregulars.

Aquesta llei és important perquè garanteix relacions estables entre les mitjanes de diversos esdeveniments aleatoris. Per exemple, mentre que un casino pot perdre diners en una simple tirada de la ruleta, els seus guanys tendiran a un percentatge predictible amb un nombre gran de tirades. La sort del jugador (bona o dolenta) serà, a la llarga, superada pels paràmetres del joc. Cal recordar que la llei, però, tan sols s'aplica quan es considera un nombre elevat d'observacions, tal com el nom indica. El principi no es pot aplicar per un nombre petit d'observacions ni es pot esperar que una tongada d'un valor concret sigui immediatament "equilibrada" amb l'obtenció d'altres valors (consulteu la fal·làcia del jugador).

Exemples

Per exemple, una única tirada d'un dau equilibrat de sis cares té sis possibles resultats (1, 2, 3, 4, 5 o 6), tots amb la mateixa probabilitat. Per tant, el valor esperat o mitjana és :

$${\frac {1+2+3+4+5+6}{6}}=3,5.$$

Segons la llei dels grans nombres, si es tiren un nombre elevat de vegades un dau, la mitjana dels seus valors serà pròxima a 3,5 i la seva precisió augmentarà amb la tirada de més daus.

D'aquesta llei, se'n pot deduir que la probabilitat empírica d'un succés o esdeveniment, és al dir, la freqüència relativa de vegades que s'ha realitzat el succés en una sèrie llarga de repeticions (assajos de Bernoulli) convergirà a la probabilitat teòrica. Per una variable aleatòria de Bernoulli, el valor esperat després d'un nombre d'assajos prou elevat coincideix amb la probabilitat teòrica de l'esdeveniment i la mitjana de les n variables (assumint que són aleatòries, independents i idènticament distribuïdes (i.i.d.)) és precisament la freqüència relativa.

Per exemple, la tirada d'una moneda equilibrada (on les probabilitats d'obtenir cara o creu són iguals) és un assaig de Bernoulli. Quan es tira per primer cop, la probabilitat de cara és 1/2. Per tant, segons la llei dels grans nombres, la proporció de cares en un nombre "gran" de tirades "hauria de ser" aproximadament 1/2. En concret, la proporció de cares després de n tirades convergirà de forma quasi segura cap a 1/2 a mesura que n s'apropa a infinit.

Malgrat que la proporció de cara (i creu) s'apropa a 1/2, a mesura que creix el nombre de tirades, pràcticament segur que la diferència absoluta entre el nombre de cares i creus també creixerà. D'altra banda, també pràcticament segur que la ràtio de la diferència absoluta respecte al nombre de tirades s'aproximarà a zero. De forma intuïtiva, la diferència absoluta esperada creix, però a un ritme menor que el nombre de tirades.

Història

El matemàtic italià Gerolamo Cardano (1501-1576) va constatar, sense demostrar, que la precisió de les mesures estadístiques empíriques tendien a millorar amb el nombre d'assajos, i que es pot considerar una versó rudimentària de la llei dels grans nombres. Una forma especial d'aquesta llei, per les variables aleatòries binàries, va ser demostrar primerament per Jacob Bernoulli al seu llibre (postum) Ars conjectandi de 1713 ; segon explica ell mateix, li va costar més de vint anys desenvolupar una prova matemàtica suficientment rigorosa. El va anomenar el seu "Teorema daurat", però va ser conegut generalment amb el nom del "Teorema de Bernoulli", que no s'ha de confondre amb el Principi de Bernoulli, referit al seu cosí Daniel Bernoulli. El 1837, S.D. Poisson el va anomenar "la loi des grands nombres" ('La llei dels grans nombres') i en va demostrar una versió més general.

Després que Benroulli i Poisson publiquessin els seus resultats, molts altres matemàtics van contribuir a refinar la llei, com Chebyshev, Markov, Borel, Cantelli, Kolmogórov i Khintxin. Markov va demostrar que la llei es podia aplicar a variables aleatòries que no tinguessin una variància finita sota alguna altra hipòtesi més feble, i Khintxin va provar, el 1929, que si la successió consistia en variables aleatòries independents i idènticament distribuïdes, era suficient que el valor esperat existís per tal que la llei feble dels grans nombres fos veritat. Per una visió històrica de la llei feble dels grans nombres vegeu Seneta. En relació a la llei forta, cal citar el treball pioner de Borel de 1909 on demostra una llei forta per a variables de Bernoulli, posteriorment les contribucions de Cantelli i Slutsky i finalment la lleis fortes de Kolmogorov de finals dels anys 20 i del seu seminal llibre de 1933.

Lleis febles dels grans nombres

Llei feble per a variables independents i idènticament distribuïdes (i.i.d.) amb moment de segon ordre.

Per motius didàctics, ja que la demostració és molt senzilla, s'acostuma a començar per la llei feble per a variables aleatòries independents totes amb la mateixa distribució (i.i.d.) amb moment de 2n. ordre (finit). De fet, aquesta serà l'única llei dels grans nombres que demostrarem. Cal tenir present que aquest cas és una conseqüència directa de la llei forta de Kolmogorov, de manera que el lector interessat en els resultats més generals pot ometre aquest primer teorema.

Llei feble per a variables independents idènticament distribuïdes amb moment de segon ordre. Considerem una successió de variables aleatòries $X_{1},X_{2},\dots$ independents totes amb la mateixa distribució (i.i.d.), amb esperança $E[X_{n}]=\mu$ i amb moment de segon ordre (finit): $E[X_{n}^{2}]<\infty$. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Observacions.

1. La convergència en probabilitat vol dir que per a qualsevol $\varepsilon >0$,

$$\lim _{n\to \infty }P{\Big (}{\Big \vert }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big \vert }>\varepsilon {\Big )}=0.$$

En paraules, que la probabilitat que $(1/n)\sum _{j=1}^{n}X_{j}$ i $\mu$ siguin gaire diferents pot fer-se tan petita com es vulgui.

2. La convergència en mitjana quadràtica vol dir que

$$\lim _{n\to \infty }E{\Big [}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big )}^{2}{\Big ]}=0.$$

Aquest resultat s'anomena llei dels grans nombres en mitjana quadràtica.

3. Molts sovint aquesta llei s'escriu utilitzant la mitjana ${\overline {X}}_{n}$ de les variables $X_{1},X_{2},\dots ,X_{n}$:

$${\overline {X}}_{n}={\frac {X_{1}+X_{2}+\dots +X_{n}}{n}}={\frac {1}{n}}\sum _{j=1}^{n}X_{j}.$$

Aleshores el teorema es formula dient que

$$\lim _{n\to \infty }{\overline {X}}_{n}=\mu ,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Prova: Demostrarem primer que la convergència és en mitjana quadràtica: Atès que

$$E{\Big [}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}{\Big ]}={\frac {1}{n}}\sum _{i=1}^{n}E[X_{i}]=\mu ,$$

i que les variables són independents, tenim que

$$E{\Big [}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-\mu {\Big )}^{2}{\Big ]}={\text{Var}}{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}{\Big )}={\frac {1}{n^{2}}}\,{n{\text{Var}}(X_{1})}\longrightarrow 0,\quad {\text{quan}}\ n\to \infty .$$

Per tant,

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en mitjana quadràtica}}.$$

Finalment, s'aplica que la convergència en mitjana quadràtica implica la convergència en probabilitat.

Observació. De la demostració es veu que es pot substituir la condició d'independència per la de variables incorrelacionades (dos a dos). Recordem que dues variables aleatòries $X\ {\text{i}}\ Y$ amb moment de segon ordre es diu que són incorrrelacionades si la seva covariància és 0, o equivalentment, si $E[X\,Y]=E[X]\,E[Y]$ .

El teorema de Bernoulli

Com a conseqüència tenim el teorema de Bernoulli (1713) que s'esmenta en la nota històrica. Recordem que una variable aleatòria de Bernoulli $X$ de paràmetre $p$, amb $0<p<1$, només pot prendre els valors 0 o 1, amb probabilitats

$$P(X=1)=p\quad {\text{i}}\quad P(X=0)=1-p.$$

L'esperança de $X$ és $E[X]=p$ .

Llei dels grans nombres de Bernoulli (1713). Siguin $X_{1},X_{2},\dots$ variables de Bernoulli de paràmetre $p$ independents. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=p,\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Com a cas particular tenim la convergència de les freqüències relatives d'ocurrència d'un esdeveniment cap a la seva probabilitat. Tal com hem comentat a la introducció, aquest és un resultat fonamental perquè lliga la definició freqüentista de probabilitat amb l'axiomàtica de Kolmogorov.

Convergència de les freqüències relatives a la probabilitat

Teorema. Considerem un experiment aleatori que tingui per model un espai de probabilitat $(\Omega ,{\mathcal {A}},P)$ i sigui $A\in {\mathcal {A}}$ un esdeveniment. Suposem que repetim l'experiment indefinidament i de forma independent. Designem per $f_{n}(A)$ la freqüència relativa de vegades que succeeix $A$ en les $n$ primeres repeticions:

$$f_{n}(A)={\frac {{\text{Nombre de vegades que ocorre}}\ A\ {\text{en les }}n{\text{ primeres repeticions}}}{n}}.$$

Aleshores

$$\lim _{n\to \infty }f_{n}(A)=P(A),\quad {\text{en probabilitat i en mitjana quadràtica}}.$$

Observació: A conseqüència de la llei forta de Kolmogorov que veurem més endavant, la convergència també és quasi segura.

Prova: Sigui $X_{j}$ la variable aleatòria que val 1 si a la repetició $j$-èsima ha ocorregut l'esdeveniment $A$ i 0 en cas contrari:

$$X_{j}={\begin{cases}1,&{\text{si ocorre l'esdeveniment }}A{\text{ en la repetició }}j-{\text{èsima}},\\0,&{\text{altrament.}}\end{cases}}$$

Es tracta d'una variable de Bernoulli de paràmetre $p=E[X_{j}]=P(A)$. A més, les variables $X_{1},X_{2},\dots$ són independents, i

$$f_{n}(A)={\frac {1}{n}}\sum _{j=1}^{n}X_{j}.$$

Ara s'aplica la llei dels grans nombres de Bernoulli.

Llei feble per a variables idènticament distribuïdes, dos a dos independents, amb esperança finita

El següent teorema és degut a Khintxin suposant que les variables són independents i va ser un resultat molt important. Per la demostració d'aquesta versió vegeu

Llei feble per a variables idènticament distribuïdes, dos a dos independents, amb esperança finita . Sigui $X_{1},X_{2},\dots$ una successió variables aleatòries idènticament distribuïdes, dos a dos independents, amb esperança finita $E[X_{n}]=\mu$. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=\mu ,\quad {\text{en probabilitat}}.$$

Llei feble sense condicions sobre els moments

A les lleis febles que hem vist hem suposat que les variables tenien moments de segon o primer ordre. Aquesta condició pot relaxar-se. A més. s'obté una condició necessària i suficient.

Llei feble dels grans nombres per a variables i.i.d. sense hipòtesis sobre els moments. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents idènticament distribuïdes. Aleshores existeix una successió de constants $c_{1},c_{2},\dots$ tal que

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-c_{n}=0,\quad {\text{en probabilitat}},$$

si i només si

$$\lim _{x\to \infty }xP(\vert X_{1}\vert >x)=0.\qquad (*)$$

I en aquest cas es pot prendre $c_{n}=E[X_{1}\,{\boldsymbol {1}}_{\{\vert X_{1}\vert \leq n\}}].$

Observacions:

1. Cal notar que la condició (*) pot escriure's en termes de la funció de distribució $F$ de $X_{1}$ de la següent manera:

$$\lim _{x\to \infty }x{\big (}1-F(x)-F(x^{-}){\big )}=0,$$

i que les constants són

$$c_{n}=\int _{-n}^{n}x\,dF(x).$$

2. Si $E[\vert X_{1}\vert ]<\infty$, aleshores es compleix (*). Però pel cas i.i.d. amb esperança finita, la llei forta de Kolmogorov proporciona la convergència quasi segura, que és un resultat més important.

Llei feble sense suposar que les variables són idènticament distribuïdes

Pot eliminar-se la condició que les variables tinguin totes la mateixa distribució al preu d'exigir l'existència de moments de segon ordre amb una restricció sobre el seu creixement. En el següent teorema, de Markov, no se suposa que les variables siguin independents:
Llei feble dels grans nombre per a variables amb moment de 2n. ordre. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries amb moment de segon ordre. Escrivim $E[X_{n}]=\mu _{n}$. Suposem que

$$\lim _{n\to \infty }{\frac {1}{n^{2}}}{\text{Var}}{\Big (}\sum _{j=1}^{n}X_{j}{\Big )}=0.\qquad (**)$$

Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}\mu _{j}{\Big )}=0,\quad {\text{en probabilitat}}.$$

Observació: Si les variables són incorrelacionades, és a dir, per a $i\neq j$, $X_{i}\ {\text{i}}\ X_{j}$ tenen covariància 0, o equivalentment, $E[X_{i}\,X_{j}]=E[X_{i}]\,E[X_{j}]$ (en particular, si les variables són independents dos a dos, o indepenents), alehores la condició (**) pot canviar-se per

$$\lim _{n\to \infty }{\frac {1}{n^{2}}}\sum _{j=1}^{n}{\text{Var}}(X_{j})=0.$$

La llei feble de Poisson

Poisson comenta que en les aplicacions molt sovint es tenen variables de Bernoulli on la probabilitat canvia a cada repetició de l'experiment. Per aquesta situació tenim:

Llei feble dels grans nombres de Poisson. Siguin $X_{1},X_{2},\dots$ variables de Bernoulli de paràmetres $p_{1},p_{2},\dots$ respectivament, independents. Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}p_{j}{\Big )}=0,\quad {\text{en probabilitat}}.$$

Aquest teorema es dedueix de la llei feble per variables no idènticament distribuides ja que

$${\text{Var}}(X_{n})=p_{n}(1-p_{n}),$$

i llavors

$${\frac {1}{n^{2}}}\sum _{j=1}^{n}{\text{Var}}(X_{j})={\frac {1}{n^{2}}}\sum _{j=1}^{n}p_{j}(1-p_{j})\leq {\frac {n}{n^{2}}}={\frac {1}{n}},$$

que òbviament convergeix a 0.

Lleis fortes dels grans nombres

Finalment, veurem dos resultats deguts a Kolmogorov: el primer és una extensió per a la convergència quasi segura del cas quan no se suposa que les variables tinguin la mateixa distribució. El segon és la celebrada llei forta de Kolgmogorv on es tanca el cas de variables independents i idènticament distribuïdes, ja que s'estableix una condició necessària i suficient per a la convergència quasi segura de $(1/n)\sum _{j=1}^{n}X_{j}$ a un límit finit.

Llei forta per a variables independents amb moment de segon ordre. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents amb moment de segon ordre (finit). Escrivim $E[X_{n}]=\mu _{n}$. Suposem que

$$\sum _{j=1}^{\infty }{\frac {{\text{Var}}(X_{j})}{j^{2}}}<\infty .$$

Aleshores

$$\lim _{n\to \infty }{\Big (}{\frac {1}{n}}\sum _{j=1}^{n}X_{j}-{\frac {1}{n}}\sum _{j=1}^{n}\mu _{j}{\Big )}=0,\quad {\text{quasi segurament}}.$$

Observació. Cal notar que la llei dels grans nombres de Poisson també es compleix quasi segurament, ja que en aquell cas,

$$\sum _{j=1}^{\infty }{\frac {{\text{Var}}(X_{j})}{j^{2}}}\leq \sum _{j=1}^{\infty }{\frac {1}{j^{2}}}<\infty .$$

Llei forta dels grans nombres de Kolmogorov. Sigui $X_{1},X_{2},\dots$ una successió de variables aleatòries independents i idènticament distribuïdes. Aleshores

$$\lim _{n\to \infty }{\frac {1}{n}}\sum _{j=1}^{n}X_{j}=c,\quad {\text{quasi segurament}}.$$

on $c$ és una constant finita si i només si $E[\vert X_{1}\vert ]<\infty$. En aquest cas, $c=E[X_{1}]$.

La independència de les variables aleatòries pot ser substituïda per la independència dos a dos.

Vegeu també

• Llei feble dels grans nombres

Referències

• Bernoulli, Jacob (1654-1705). Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis (en llatí), 1713. «Traducció a l'anglès del capítol 4 a http://www.sheynin.de/download/bernoulli.pdf. Consulta el 27 de febrer de 2021» 

• Chung, Kai Lai. A course in probability theory.. 2d ed. New York,: Academic Press, 1974. ISBN 0-12-174650-X. 

• Chung, Kai Lai. Teoría elemental de la probabilidad y de los procesos estocásticos. Barcelona: Reverté, 1983. ISBN 84-291-5049-8. 

• Durrett, Richard. Probability : theory and examples. Pacific Grove, Calif.: Wadsworth & Brooks/Cole Advanced Books & Software, 1991. ISBN 0-534-13206-5. 

• Grimmett, G. R.; Stirzaker, D. R.. Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford, 1992. ISBN 0-19-853665-8. 
• Jacobsen, Martin. Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen, 1992. ISBN 87-91180-71-6. 
• Kolmogorov, A.N.. Foundations of the Theory of Probability. 2a edició. Nova York: Chelsea Publishing Company, 1956. 

• Loeve, Michel. Teoría de la probabilidad. Madrid: Tecnos, S. A., 1976. 

• Mlodinow, L. The Drunkard's Walk. Nova York: Random House, 2008. 

• Newey, Whitney K.; McFadden, Daniel. Large sample estimation and hypothesis testing. Elsevier Science, 1994, p. 2111–2245. 

• Petrov, V. V.. Limit theorems of probability theory : sequences of independent random variables. Oxford: Clarendon Press, 1995. ISBN 0-19-853499-X. 

• Poisson, Siméon-Denis (1781-1840). Recherches sur la probabilité des jugements en matière criminelle et en matière civile ; précédées des Règles générales du calcul des probabilités (en francès), 1837 [Consulta: 3 març 2021]. 

• Révéz, Pál. The Laws of large Numbers. New York and London: Academic Press, 1968. 

• Ross, Sheldon. A first course in probability. 8th. Prentice Hall press, 2009. ISBN 978-0-13-603313-4. 

• Sen, P. K; Singer, J. M.. Large sample methods in statistics. Chapman & Hall, Inc, 1993. 

• Seneta, Eugene «A Tricentenary history of the Law of Large Numbers». Bernoulli, 19, 4, 2013, pàg. 1088–1121. ISSN: 1350-7265.

• Seneta, Eugene «On the History of the Strong Law of Large Numbers and Boole’s Inequality». Historia Mathematica, 19, 1992, pàg. 24-39.

• Von Plato, Jan. Creating modern probability : its mathematics, physics, and philosophy in historical perspective. Cambridge [England]: Cambridge University Press, 1994. ISBN 0-521-44403-9. 

Enllaços externs

• Michiel Hazewinkel (ed.). Law of large numbers. Encyclopedia of Mathematics (en anglès). Springer, 2001. ISBN 978-1-55608-010-4. 
• Weisstein, Eric W., «Weak Law of Large Numbers» a MathWorld (en anglès).
• Weisstein, Eric W., «Strong Law of Large Numbers» a MathWorld (en anglès).
• Animations for the Law of Large Numbers by Yihui Xie using the R package animation
• Apple CEO Tim Cook said something that would make statisticians cringe.