Probabilités

1Univers, événements, variables aléatoires

Définition. Un univers est un ensemble fini non vide $\Omega$, dont les éléments $\omega$ modélisent les issues d’une expérience aléatoire ; un événement est une partie $A$ de $\Omega$, un événement élémentaire un singleton. Tout ce chapitre se limite au cas d’un univers fini.

Notation. Le vocabulaire probabiliste relit le vocabulaire ensembliste : $\omega\in A$ « $\omega$ réalise $A$ » ; $A\cap B$ « $A$ et $B$ » ; $A\cup B$ « $A$ ou $B$ » ; $\overline{A}=\Omega\setminus A$ événement contraire ; $A\subset B$ « $A$ implique $B$ » ; $A\cap B=\varnothing$ « $A$ et $B$ incompatibles (ou disjoints) ».

Définition. $(A_{1},\dots,A_{n})$ est un système complet d’événements lorsque les $A_{i}$ sont deux à deux incompatibles et $\bigcup_{i=1}^{n}A_{i}=\Omega$. Exemple fondamental : $\bigl(A,\overline{A}\bigr)$, et plus généralement $\bigl(\ens{X=x}\bigr)_{x\in X(\Omega)}$ pour une variable aléatoire $X$.

Définition. Une variable aléatoire sur $\Omega$ est une application $X:\Omega\to E$, où $E$ est un ensemble quelconque. Pour $A\subset E$ et $x\in E$ on note $\ \ens{X\in A}=(X\in A)=\ens{\omega\in\Omega,\ X(\omega)\in A}\$ et $\ \ens{X=x}=\ens{X\in\ens{x}}$.

Remarque. Une variable aléatoire n’est ni un nombre ni une inconnue : c’est une fonction. On ne parlera d’espérance (resp. de variance) que lorsque $E\subset\C$ (resp. $E\subset\R$).

2Espaces probabilisés finis

Définition. Une probabilité sur $\Omega$ est une application $\mathbb{P}:\mathcal{P}(\Omega)\to\intff{0}{1}$ telle que $\mathbb{P}(\Omega)=1$ et $\mathbb{P}(A\cup B)=\mathbb{P}(A)+\mathbb{P}(B)$ pour tous événements incompatibles $A$, $B$. Le couple $(\Omega,\mathbb{P})$ est un espace probabilisé fini.

Définition. Une distribution de probabilités sur un ensemble $E$ est une famille $(p_{x})_{x\in E}$ d’éléments de $\R_{+}$ de somme $1$.

Théorème. Une probabilité sur $\Omega$ est entièrement déterminée par la distribution $\bigl(\mathbb{P}(\ens{\omega})\bigr)_{\omega\in\Omega}$, et réciproquement toute distribution $(p_{\omega})_{\omega\in\Omega}$ provient d’une unique probabilité, donnée par $\ \mathbb{P}(A)=\sum_{\omega\in A}p_{\omega}$.

Définition. La probabilité uniforme sur $\Omega$ est celle de distribution constante : $\mathbb{P}(\ens{\omega})=\frac{1}{\Card\Omega}$, et alors $\ \mathbb{P}(A)=\frac{\Card A}{\Card\Omega}$. C’est le modèle d’équiprobabilité : tout calcul s’y ramène à un dénombrement (chapitre 22).

Propriété — règles de calcul. Pour tous événements $A$, $B$ : $\ \mathbb{P}(\varnothing)=0$ ; $\ \mathbb{P}(\overline{A})=1-\mathbb{P}(A)$ ; $\ \mathbb{P}(B\setminus A)=\mathbb{P}(B)-\mathbb{P}(A\cap B)$ ; croissance : $A\subset B\implies\mathbb{P}(A)\leq\mathbb{P}(B)$ et alors $\mathbb{P}(B\setminus A)=\mathbb{P}(B)-\mathbb{P}(A)$ ; enfin

Si $A_{1},\dots,A_{n}$ sont deux à deux incompatibles, $\mathbb{P}\bigl(\bigcup_{i}A_{i}\bigr)=\sum_{i}\mathbb{P}(A_{i})$ ; si c’est de plus un système complet, cette somme vaut $1$. La formule du crible est hors programme : la formule de la réunion n’est disponible que pour deux événements ; au-delà, on découpe en événements deux à deux incompatibles ou l’on passe au contraire.

3Probabilités conditionnelles

Définition. Si $\mathbb{P}(B)>0$, la probabilité conditionnelle de $A$ sachant $B$ est $\ \mathbb{P}(A\mid B)=\mathbb{P}_{B}(A)=\dfrac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}$. Convention officielle : $\mathbb{P}(A\mid B)\mathbb{P}(B)=0$ lorsque $\mathbb{P}(B)=0$, de sorte que $\mathbb{P}(A\cap B)=\mathbb{P}(A\mid B)\mathbb{P}(B)$ soit vraie sans hypothèse.

Théorème. $\mathbb{P}_{B}$ est une probabilité sur $\Omega$ : toutes les règles ci-dessus lui s’appliquent ($\mathbb{P}_{B}(\overline{A})=1-\mathbb{P}_{B}(A)$, etc.). En revanche $\mathbb{P}_{B}$ est une probabilité en la première variable seulement : $\mathbb{P}(A\mid B)+\mathbb{P}(A\mid\overline{B})$ n’a aucune raison de valoir $1$.

Théorème — probabilités composées. Si $\mathbb{P}(A_{1}\cap\dots\cap A_{n-1})>0$, alors

Idée de preuve. Récurrence sur $n$ ; par croissance, tous les conditionnements écrits portent sur des événements de probabilité non nulle.

Théorème — probabilités totales. Si $(A_{1},\dots,A_{n})$ est un système complet d’événements, alors pour tout événement $B$

(la seconde écriture avec la convention ci-dessus). Idée de preuve (exigible). Les $B\cap A_{i}$ sont deux à deux incompatibles et de réunion $B\cap\Omega=B$ : on applique l’additivité puis la définition du conditionnement.

Théorème — formule de Bayes. Si $\mathbb{P}(A)>0$ et $\mathbb{P}(B)>0$, $\ \mathbb{P}(A\mid B)=\dfrac{\mathbb{P}(B\mid A)\mathbb{P}(A)}{\mathbb{P}(B)}$ ; et si $(A_{1},\dots,A_{n})$ est un système complet d’événements de probabilités non nulles,

Idée de preuve (exigible). Calculer $\mathbb{P}(A\cap B)$ de deux façons, puis développer le dénominateur par les probabilités totales.

Méthode — arbre de probabilités. un arbre dont le premier niveau est un système complet d’événements résume les trois formules : on multiplie le long d’une branche (composées), on additionne les branches aboutissant à un même événement (totales) ; Bayes remonte l’arbre.

4Lois de variables aléatoires

Définition. La loi de $X:\Omega\to E$ est la probabilité $\mathbb{P}_{X}$ définie par $\mathbb{P}_{X}(A)=\mathbb{P}(X\in A)$ ; elle est déterminée par la distribution $\bigl(\mathbb{P}(X=x)\bigr)_{x\in E}$, nulle hors de l’ensemble fini $X(\Omega)$. On note $X\sim Y$ lorsque $\mathbb{P}_{X}=\mathbb{P}_{Y}$. Si $f:E\to F$, alors $f(X)=f\circ X$ est une variable aléatoire et $\ X\sim Y\implies f(X)\sim f(Y)$. Attention, $X\sim Y$ n’entraîne pas $X=Y$ : sur $\Omega=\ens{0,1}$ équiprobable, $X=\mathrm{id}$ et $Y=1-X$ ont même loi et ne sont jamais égales.

Définition — lois usuelles.

Définition. Pour $\mathbb{P}(A)>0$, la loi conditionnelle de $X$ sachant $A$ est la loi de $X$ pour $\mathbb{P}_{A}$, c’est-à-dire la distribution $\bigl(\mathbb{P}(X=x\mid A)\bigr)_{x\in E}$.

Définition. Le couple $(X,Y):\Omega\to E\times F$ est une variable aléatoire ; sa loi, dite loi conjointe, est donnée par les $\mathbb{P}(X=x,Y=y)$. Les lois de $X$ et $Y$ sont les lois marginales, et on les retrouve par

probabilités totales appliquées au système complet $\bigl(\ens{Y=y}\bigr)_{y\in F}$ (resp. $\bigl(\ens{X=x}\bigr)_{x\in E}$). Tout s’étend aux $n$-uplets.

Remarque. Les marges ne déterminent pas la loi conjointe : les tableaux $\left(\begin{smallmatrix}1/2&0\\0&1/2\end{smallmatrix}\right)$ et $\left(\begin{smallmatrix}1/4&1/4\\1/4&1/4\end{smallmatrix}\right)$ ont les mêmes marges, toutes deux uniformes sur $\ens{0,1}$.

5Indépendance

Définition. $A$ et $B$ sont indépendants lorsque $\mathbb{P}(A\cap B)=\mathbb{P}(A)\mathbb{P}(B)$ ; si $\mathbb{P}(B)>0$, cela s’écrit $\mathbb{P}(A\mid B)=\mathbb{P}(A)$. La famille $(A_{1},\dots,A_{n})$ est indépendante lorsque $\ \mathbb{P}\!\left(\bigcap_{i\in I}A_{i}\right)=\prod_{i\in I}\mathbb{P}(A_{i})\$ pour toute partie $I$ de $\intent{1}{n}$.

Propriété. Si $A$ et $B$ sont indépendants, $A$ et $\overline{B}$ le sont aussi (donc aussi $\overline{A}$ et $\overline{B}$) ; dans une famille indépendante, on peut remplacer certains $A_{i}$ par leurs contraires sans perdre l’indépendance.

Remarque — les deux confusions à ne jamais faire. Incompatibilité et indépendance sont sans rapport : deux événements incompatibles de probabilités non nulles ne sont jamais indépendants, puisque $\mathbb{P}(A\cap B)=0<\mathbb{P}(A)\mathbb{P}(B)$. Et l’indépendance deux à deux n’implique pas l’indépendance de la famille : il faut vérifier toutes les parties $I$, y compris $I=\intent{1}{n}$.

Définition. $X:\Omega\to E$ et $Y:\Omega\to F$ sont indépendantes, ce qu’on note $X\mathrel{\perp\!\!\!\perp} Y$, lorsque pour toutes parties $A\subset X(\Omega)$ et $B\subset Y(\Omega)$ les événements $(X\in A)$ et $(Y\in B)$ sont indépendants.

Théorème — caractérisation. $X\mathrel{\perp\!\!\!\perp} Y$ si et seulement si $\ \mathbb{P}(X=x,Y=y)=\mathbb{P}(X=x)\mathbb{P}(Y=y)\$ pour tous $(x,y)\in E\times F$ : la loi conjointe est le produit des lois marginales. De même $X_{1},\dots,X_{n}$ sont indépendantes lorsque $\mathbb{P}(X_{1}=x_{1},\dots,X_{n}=x_{n})=\prod_{i=1}^{n}\mathbb{P}(X_{i}=x_{i})$ pour tous $x_{1},\dots,x_{n}$.

Notation. On modélise $n$ expériences aléatoires indépendantes par une famille finie $(X_{i})_{1\leq i\leq n}$ de variables aléatoires indépendantes ; la construction explicite d’un univers portant ce $n$-uplet n’est pas un objectif du programme.

Théorème. Si $X_{1},\dots,X_{n}$ sont indépendantes de même loi $\mathcal{B}(p)$, alors $\ X_{1}+\dots+X_{n}\sim\mathcal{B}(n,p)$. Idée de preuve (exigible). $\ens{\sum X_{i}=k}$ est la réunion disjointe, sur les $\binom{n}{k}$ parties $I$ de cardinal $k$, des $\bigcap_{i\in I}(X_{i}=1)\cap\bigcap_{i\notin I}(X_{i}=0)$, chacune de probabilité $p^{k}(1-p)^{n-k}$ par indépendance.

Théorème — stabilité, lemme des coalitions. Si $X\mathrel{\perp\!\!\!\perp} Y$, alors $f(X)\mathrel{\perp\!\!\!\perp} g(Y)$ pour toutes applications $f,g$. Plus généralement (lemme des coalitions, admis) : si $X_{1},\dots,X_{n}$ sont indépendantes et $1\leq m<n$, alors $f(X_{1},\dots,X_{m})\mathrel{\perp\!\!\!\perp} g(X_{m+1},\dots,X_{n})$ ; l’énoncé s’étend à plus de deux coalitions, formées de blocs d’indices disjoints.

6Espérance

Définition. Pour $X:\Omega\to\C$, l’espérance de $X$ est $\ \displaystyle\operatorname{E}(X)=\sum_{x\in X(\Omega)}x\,\mathbb{P}(X=x)=\sum_{\omega\in\Omega}X(\omega)\,\mathbb{P}(\ens{\omega})$ : c’est un indicateur de position. $X$ est dite centrée si $\operatorname{E}(X)=0$ ; $X-\operatorname{E}(X)$ l’est toujours. L’espérance ne dépend que de la loi, celle d’une constante $c$ vaut $c$, et $\ \boxed{\operatorname{E}(\mathbf{1}_{A})=\mathbb{P}(A)}$.

Théorème — propriétés. Pour $X$, $Y$ sur $\Omega$ à valeurs complexes et $\lambda,\mu\in\C$ : linéarité $\operatorname{E}(\lambda X+\mu Y)=\lambda\operatorname{E}(X)+\mu\operatorname{E}(Y)$ — sans aucune hypothèse d’indépendance ; positivité : $X\geq0\implies\operatorname{E}(X)\geq0$ ; croissance : $X\leq Y\implies\operatorname{E}(X)\leq\operatorname{E}(Y)$ ; inégalité triangulaire : $\abs{\operatorname{E}(X)}\leq\operatorname{E}(\abs{X})$. En particulier $m\leq X\leq M\implies m\leq\operatorname{E}(X)\leq M$.

Idée de preuve (exigible). Tout se lit sur $\operatorname{E}(X)=\sum_{\omega}X(\omega)\mathbb{P}(\ens{\omega})$ : linéarité de la somme, positivité des $\mathbb{P}(\ens{\omega})$, inégalité triangulaire du module.

Théorème — formule de transfert. Pour $X:\Omega\to E$ et $f:E\to\C$, $\ \boxed{\displaystyle\operatorname{E}\bigl(f(X)\bigr)=\sum_{x\in X(\Omega)}f(x)\,\mathbb{P}(X=x)}$ : on calcule $\operatorname{E}(f(X))$ sans déterminer la loi de $f(X)$. Elle vaut aussi pour les couples et $n$-uplets : $\operatorname{E}\bigl(f(X,Y)\bigr)=\sum_{x,y}f(x,y)\mathbb{P}(X=x,Y=y)$.

Idée de preuve (exigible). Regrouper $\sum_{\omega}f\bigl(X(\omega)\bigr)\mathbb{P}(\ens{\omega})$ selon la valeur de $X(\omega)$, ce qui est licite car $\bigl(\ens{X=x}\bigr)_{x\in X(\Omega)}$ est un système complet d’événements.

Théorème. Si $X\mathrel{\perp\!\!\!\perp} Y$, alors $\operatorname{E}(XY)=\operatorname{E}(X)\operatorname{E}(Y)$ ; plus généralement $\operatorname{E}\!\left(\prod_{i=1}^{n}X_{i}\right)=\prod_{i=1}^{n}\operatorname{E}(X_{i})$ si $X_{1},\dots,X_{n}$ sont indépendantes. La réciproque est fausse (voir « décorrélées »).

Propriété. Si $X\sim\mathcal{B}(p)$, $\operatorname{E}(X)=p$ ; si $X\sim\mathcal{B}(n,p)$, $\operatorname{E}(X)=np$ ; si $X\sim\mathcal{U}\bigl(\intent{1}{n}\bigr)$, $\operatorname{E}(X)=\frac{n+1}{2}$. Idée de preuve (exigible) pour la binomiale. Écrire $X=X_{1}+\dots+X_{n}$ avec $X_{i}\sim\mathcal{B}(p)$ indépendantes et appliquer la linéarité. (Le calcul direct par $k\binom{n}{k}=n\binom{n-1}{k-1}$ marche aussi, mais la décomposition en indicatrices est la bonne méthode.)

Méthode — exemple type : décomposer en indicatrices. pour $\sigma\sim\mathcal{U}(\mathfrak{S}_{n})$, le nombre de points fixes s’écrit $X=\sum_{i=1}^{n}\mathbf{1}_{A_{i}}$ avec $A_{i}=(\sigma(i)=i)$ ; comme $\Card\ens{\sigma,\ \sigma(i)=i}=(n-1)!$, $\mathbb{P}(A_{i})=\frac1n$ et $\operatorname{E}(X)=1$ : un point fixe en moyenne, quel que soit $n$. Les $A_{i}$ n’étant pas indépendants, la variance réclamera les covariances.

7Variance, écart type, covariance

Définition. Pour $X:\Omega\to\R$ : variance $\operatorname{V}(X)=\operatorname{E}\bigl((X-\operatorname{E}(X))^{2}\bigr)\geq0$ et écart type $\sigma(X)=\sqrt{\operatorname{V}(X)}$ — des indicateurs de dispersion. $X$ est réduite si $\operatorname{V}(X)=1$.

Théorème — formule de König-Huygens. $\ \boxed{\operatorname{V}(X)=\operatorname{E}\bigl(X^{2}\bigr)-\operatorname{E}(X)^{2}}$, d’où $\operatorname{E}(X)^{2}\leq\operatorname{E}(X^{2})$. Idée de preuve (exigible). Avec $m=\operatorname{E}(X)$ constante, développer $(X-m)^{2}=X^{2}-2mX+m^{2}$ et appliquer la linéarité : $\operatorname{V}(X)=\operatorname{E}(X^{2})-2m^{2}+m^{2}$.

Propriété. $\operatorname{V}(X)=0$ si et seulement s’il existe $c$ tel que $\mathbb{P}(X=c)=1$. Pour $a,b\in\R$ : $\ \boxed{\operatorname{V}(aX+b)=a^{2}\operatorname{V}(X)}$ et $\sigma(aX+b)=\abs{a}\sigma(X)$. Si $\sigma(X)>0$, la variable $\ X^{*}=\dfrac{X-\operatorname{E}(X)}{\sigma(X)}\$ est centrée réduite.

Définition. La covariance est $\operatorname{Cov}(X,Y)=\operatorname{E}\bigl((X-\operatorname{E}(X))(Y-\operatorname{E}(Y))\bigr)$ ; si $\operatorname{Cov}(X,Y)=0$, $X$ et $Y$ sont dites décorrélées.

Théorème. $\ \boxed{\operatorname{Cov}(X,Y)=\operatorname{E}(XY)-\operatorname{E}(X)\operatorname{E}(Y)}$ ; $\operatorname{Cov}$ est symétrique, bilinéaire, et $\operatorname{Cov}(X,X)=\operatorname{V}(X)$. Si $X\mathrel{\perp\!\!\!\perp} Y$, alors $X$ et $Y$ sont décorrélées ; la réciproque est fausse. Idée de preuve (exigible). Développer le produit et appliquer la linéarité (comme pour König-Huygens) ; l’implication est le théorème $\operatorname{E}(XY)=\operatorname{E}(X)\operatorname{E}(Y)$.

Théorème — variance d’une somme. $\ \displaystyle\operatorname{V}\!\left(\sum_{i=1}^{n}X_{i}\right)=\sum_{i=1}^{n}\operatorname{V}(X_{i})+2\!\!\sum_{1\leq i<j\leq n}\!\!\operatorname{Cov}(X_{i},X_{j})$. Si les $X_{i}$ sont deux à deux décorrélées (en particulier si elles sont indépendantes), $\operatorname{V}\!\left(\sum X_{i}\right)=\sum\operatorname{V}(X_{i})$. En particulier, pour $X$ et $Y$ décorrélées, $\operatorname{V}(X+Y)=\operatorname{V}(X-Y)=\operatorname{V}(X)+\operatorname{V}(Y)$ ; prendre $Y=X$ montre que l’hypothèse est indispensable, car $\operatorname{V}(2X)=4\operatorname{V}(X)$.

Propriété. Si $X\sim\mathcal{B}(p)$, $\operatorname{V}(X)=p(1-p)$ ; si $X\sim\mathcal{B}(n,p)$, $\operatorname{V}(X)=np(1-p)$ ; si $X\sim\mathcal{U}\bigl(\intent{1}{n}\bigr)$, $\operatorname{V}(X)=\frac{n^{2}-1}{12}$. Idée de preuve (exigible). Pour $\mathcal{B}(p)$ : $X^{2}=X$, donc $\operatorname{V}(X)=p-p^{2}$. Pour la binomiale : $X=\sum X_{i}$ avec les $X_{i}$ indépendantes de loi $\mathcal{B}(p)$, donc les variances s’ajoutent.

8Inégalités de concentration

Théorème — inégalité de Markov. Si $X$ est positive, alors pour tout $a>0$ : $\ \boxed{\mathbb{P}(X\geq a)\leq\dfrac{\operatorname{E}(X)}{a}}$. Idée de preuve (exigible). On a $a\,\mathbf{1}_{(X\geq a)}\leq X$ sur tout $\Omega$ (disjonction des cas selon que $\omega$ réalise ou non $(X\geq a)$, en utilisant $X\geq0$) ; on prend l’espérance par croissance et $\operatorname{E}\bigl(\mathbf{1}_{(X\geq a)}\bigr)=\mathbb{P}(X\geq a)$.

Théorème — inégalité de Bienaymé-Tchebychev. Pour $X$ réelle et $\varepsilon>0$ : $\ \boxed{\mathbb{P}\bigl(\abs{X-\operatorname{E}(X)}\geq\varepsilon\bigr)\leq\dfrac{\operatorname{V}(X)}{\varepsilon^{2}}}$. Idée de preuve (exigible). Appliquer Markov à la variable positive $Y=\bigl(X-\operatorname{E}(X)\bigr)^{2}$ et au seuil $a=\varepsilon^{2}>0$, en remarquant que $(Y\geq\varepsilon^{2})=\bigl(\abs{X-\operatorname{E}(X)}\geq\varepsilon\bigr)$ et $\operatorname{E}(Y)=\operatorname{V}(X)$.

Théorème — concentration d’une moyenne. Soient $X_{1},\dots,X_{n}$ indépendantes de même loi, d’espérance $m$ et de variance $\sigma^{2}$, et $\overline{X_{n}}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$. Alors $\operatorname{E}\bigl(\overline{X_{n}}\bigr)=m$, $\ \operatorname{V}\bigl(\overline{X_{n}}\bigr)=\dfrac{\sigma^{2}}{n}$, et

Idée de preuve (exigible). Linéarité pour l’espérance ; $\operatorname{V}\bigl(\overline{X_{n}}\bigr)=\frac{1}{n^{2}}\sum\operatorname{V}(X_{i})=\frac{\sigma^{2}}{n}$ par indépendance et $\operatorname{V}(aX)=a^{2}\operatorname{V}(X)$ ; puis Bienaymé-Tchebychev appliqué à $\overline{X_{n}}$.

Remarque — interprétation fréquentiste. Pour $X_{i}\sim\mathcal{B}(p)$ indépendantes, $\overline{X_{n}}$ est la fréquence de succès et $\sigma^{2}=p(1-p)\leq\frac14$, d’où $\mathbb{P}\bigl(\bigl|\overline{X_{n}}-p\bigr|\geq\varepsilon\bigr)\leq\frac{1}{4n\varepsilon^{2}}$ : à $\varepsilon$ fixé, le majorant est aussi petit qu’on veut pour $n$ grand, ce qui justifie la lecture d’une probabilité comme une fréquence. La majoration est non asymptotique — vraie pour chaque $n$, elle fournit un $n$ explicite. On la démontre, on ne l’invoque pas sous un nom : « la loi faible des grands nombres » n’est pas un résultat du cours de première année, et la convergence en probabilité est hors programme.