Échantillon de variables indépendantes
Un échantillon est un ensemble de variables aléatoires réelles \((X_1, …, X_n)\) indépendantes et de même loi.
La variable aléatoire moyenne de cette échantillon est la variable aléatoire notée \(M_n\) ou \(\overline{X}\), définie par
\[ M_n = \dfrac{1}{n} (X_1+X_2+\ldots + X_n)\]
Exemple : On considère une variable aléatoire \(X\) qui suit une loi binomiale de paramètre \(3\) et \(\dfrac{1}{3}\). On rappelle que \(\mathbb{E}(X)=3\times \dfrac{1}{3}=1\) et \(Var(X)=3\times \dfrac{1}{3} \times \left(1-\dfrac{1}{3}\right)=\dfrac{2}{3}\).
On considère un échantillon \((X_1, \ldots, X_{100})\) de variables aléatoires indépendantes de même loi que \(X\) et on note \(M_n = \dfrac{1}{n} (X_1+X_2+\ldots + X_n)\).
On a alors \(\mathbb{E}(M_n)=\mathbb{E}(X)=1\) et \(Var(M_n)=\dfrac{2}{300}\).
Concentration et loi des grands nombres
Inégalité de Bienaymé-Tchebychev
\[ \mathbb{P}(|X-E(x)| \geqslant \delta) \leqslant \dfrac{Var(x)}{\delta ^2}\]
Exemple : On lance 180 fois un dé équilibré à 6 faces, numérotées de 1 à 6. On appelle \(X\) la variable aléatoire qui donne le nombre de 1 obtenus. \(X\) suit une loi binomiale de paramètres \(180\) et \(\dfrac{1}{6}\). Ainsi, \(\mathbb{E}(X)=180 \times \dfrac{1}{6}=30\) et \(Var(X)=180 \times \dfrac{1}{6} \times \dfrac{5}{6}=25\). On souhaite minorer la probabilité que \(X\) soit compris entre 21 et 39, c’est-à-dire \(\mathbb{P}( |X-\mathbb{E}(X)| < 10)\).
D’après l’inégalité de Bienaymé-Tchebychev,
\[ \mathbb{P}( |X-\mathbb{E}(X)| \geqslant 10) \leqslant \dfrac{Var(X)}{10^2} =\dfrac{25}{100}=\dfrac{1}{4}\]
Ainsi, puisque \(\mathbb{P}( |X-\mathbb{E}(X)| <10)+\mathbb{P}( |X-\mathbb{E}(X)|\geqslant 10)=1\), on a que \(\mathbb{P}( |X-\mathbb{E}(X)| < 10)=1-\mathbb{P}( |X-\mathbb{E}(X)| \geqslant 10)\).
Ainsi, \(\mathbb{P}( |X-\mathbb{E}(X)| < 10) \geqslant \dfrac{3}{4}\).
Inégalité de concentration
[Inégalité de concentration] Soit \((X_1,\ldots,X_n)\) un échantillon de \(n\) variables aléatoires indépendantes, et \(M_n\) la variable aléatoire moyenne de cette échantillon. Alors, pour tout réel \(\delta\) strictement positif,
\[ \mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta ) \leqslant \dfrac{Var(X_1)}{n\delta^2}\]
Exemple : Soit \(X\) une variable aléatoire d’espérance 3 et de variance 100. On considère un On considère un échantillon \((X_1, \ldots, X_{100})\) de variables aléatoires indépendantes de même loi que \(X\) et on note \(M_n = \dfrac{1}{n} (X_1+X_2+\ldots + X_n)\).
Pour tout entier naturel non nul \(n\) et tout réel \(\delta\) strictement positif, on a alors
\[ \mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta ) \leqslant \dfrac{Var(X_1)}{n\delta ^2}\]
C’est-à-dire,
\[ \mathbb{P}(|M_n-3|\geqslant \delta ) \leqslant \dfrac{100}{na^2}\]
En particulier, pour \(n=100000\) et \(a=0.1\)
\[ \mathbb{P}(|M_n-3|\geqslant 0.1 ) \leqslant \dfrac{100}{100000\times 0.1^2}\]
c’est-à-dire
\[ \mathbb{P}(|M_n-3|\geqslant 0.1 ) \leqslant 0.1\]
Bien que la variable aléatoire \(X\) ait une grande variance, si l’on répète un grand nombre de fois l’expérience aléatoire, la moyenne des résultats est très proche de l’espérance de \(X\) : avec probabilité 0.9, la moyenne est entre 2.9 et 3.1.
Loi des grands nombres
[Loi faible des grands nombres] Soit \((X_1,…,X_n)\) un échantillon de \(n\) variables aléatoires indépendantes et \(M_n\) la variable aléatoire moyenne de cet échantillon. Pour tout réel \(\delta\) strictement positif,
\[ \displaystyle \lim_{n \to + \infty} \mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta )=0\]
\[ \mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta ) \leqslant \dfrac{Var(X_1)}{n\delta^2}\]Or, \(\displaystyle \lim _{n \to + \infty} \dfrac{Var(X_1)}{n\delta^2}=0\). De plus, \(\mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta ) \geqslant 0\). Par théorème d’encadrement, on a donc \(\displaystyle \lim_{n \to + \infty} \mathbb{P}(|M_n-\mathbb{E}(X_1)|\geqslant \delta )=0\)
Tout comme de nombreux résultats de probabilités de terminale, la loi faible des grands nombres est énoncée dans l’Ars Conjectandi de Jacques Bernoulli, paru en 1713. Bernoulli est si fier de ce théorème qu’il l’appelle son « théorème d’or« . Le nom de loi des grands nombres ne viendra qu’au XIXe siècle.
Bernouli y aborde, comme nous l’avons déjà vu précédemment, la loi binomiale, les combinaisons, les permutations, mais également de la dérivation ou de calcul littéral en tout genre. On y rencontre par exemple l’inégalité de Bernoulli, rencontré au chapitre sur les suites et la démonstration par récurrence, qui dit que pour tout réel \(x>0\) et pour tout entier naturel \(n\), \((1+x)^n \geqslant 1+nx\). Cette inégalité est également tirée de cet ouvrage fascinant.
Et pour enfoncer le clou, sachez que le premier programme informatique, conçu par Ada Lovelace en 1843, avait justement pour but de calculer des nombres particuliers : les nombres de Bernoulli, encore mentionnés dans ce livre. C’est d’ailleurs également l’occasion de rappeler que le premier informaticien était en fait une informaticienne…
