Concentration et loi des grands nombres

1Mesurer un écart à l’espérance

Notation. Pour une variable aléatoire $X$ d’espérance $\mu$, l’événement « $X$ s’écarte de $\mu$ d’au moins $\varepsilon$ » s’écrit $\abs{X-\mu}\geq\varepsilon$, c’est-à-dire $X\leq\mu-\varepsilon$ ou $X\geq\mu+\varepsilon$. Son contraire est $\mu-\varepsilon<X<\mu+\varepsilon$.

Théorème — inégalité de Bienaymé-Tchebychev. Si $X$ a pour espérance $\mu$ et pour variance $V$, alors pour tout réel $\varepsilon>0$ :

Propriété — écarts en multiples de $\sigma$. Si $\sigma>0$, en prenant $\varepsilon=k\sigma$ avec $k>0$ : $\ P\bigl(\abs{X-\mu}\geq k\sigma\bigr)\leq\dfrac{1}{k^{2}}$. Ainsi $P\bigl(\abs{X-\mu}\geq 2\sigma\bigr)\leq 0{,}25$ et $P\bigl(\abs{X-\mu}\geq 3\sigma\bigr)\leq\frac19\approx 0{,}11$ : l’écart type est l’unité naturelle de dispersion.

Remarque. Cette majoration est universelle : elle ne suppose rien sur la loi de $X$. En contrepartie elle est souvent très large, et n’a d’intérêt que si $\frac{V}{\varepsilon^{2}}<1$.

2Moyenne d’un échantillon

Définition. Un échantillon de taille $n$ de la loi de $X$ est une liste $(X_1,\dots,X_n)$ de variables aléatoires indépendantes suivant toutes cette loi. On pose $S_n=X_1+\cdots+X_n$ et $M_n=\dfrac{S_n}{n}$.

Propriété. Si $E(X)=\mu$, $V(X)=V$ et $\sigma(X)=\sigma$, alors

3Inégalité de concentration et loi des grands nombres

Théorème — inégalité de concentration. En appliquant Bienaymé-Tchebychev à $M_n$, pour tout réel $\varepsilon>0$ :

Théorème — loi des grands nombres. Pour tout réel $\varepsilon>0$ : $\ \lim\limits_{n\to+\infty}P\bigl(\abs{M_n-\mu}\geq\varepsilon\bigr)=0$.

Remarque. Autrement dit, la probabilité que la moyenne observée sur un échantillon s’écarte de $\mu$ d’au moins $\varepsilon$ devient aussi petite que l’on veut pourvu que $n$ soit assez grand : c’est la justification théorique de l’estimation d’une espérance (ou d’une proportion) par une moyenne observée.

4Déterminer une taille d’échantillon

Méthode — précision $\varepsilon$ et risque $\alpha$. Pour garantir $P\bigl(\abs{M_n-\mu}\geq\varepsilon\bigr)\leq\alpha$, il suffit d’imposer $\dfrac{V}{n\varepsilon^{2}}\leq\alpha$, c’est-à-dire

On prend alors pour $n$ le plus petit entier vérifiant cette inégalité.

Remarque. Cas d’une proportion : si $X$ suit la loi de Bernoulli de paramètre $p$, alors $V=p(1-p)\leq\frac14$ pour tout $p$ de $\intff{0}{1}$. On peut donc toujours majorer $V$ par $\frac14$, ce qui donne une taille $n\geq\dfrac{1}{4\alpha\varepsilon^{2}}$ valable quelle que soit la valeur inconnue de $p$.

Méthode — comparer à la probabilité exacte. Lorsque la loi de $X$ est connue (souvent binomiale), calculer la probabilité exacte à la calculatrice et la comparer à la majoration : on constate que Bienaymé-Tchebychev est correcte mais peu précise.

Remarque — simulation. On illustre ces résultats en simulant $N$ échantillons de taille $n$ et en comptant la proportion de moyennes $M_n$ situées à moins de $k\,\dfrac{\sigma}{\sqrt n}$ de $\mu$ : la probabilité correspondante est au moins égale au minorant $1-\frac1{k^{2}}$, et la proportion observée le dépasse en pratique nettement (environ $0{,}95$ pour $k=2$, contre $0{,}75$) ; elle varie peu avec $n$ ; pour un écart $\varepsilon$ fixé, en revanche, la proportion de moyennes à moins de $\varepsilon$ de $\mu$ augmente avec $n$ : l’histogramme des $M_n$ se resserre autour de $\mu$.

5Savoir-faire du chapitre

6Exemples types