M19 — Variables aléatoires sur un espace fini

Objectif du chapitre. Étudier les variables aléatoires sur un espace fini : les lois usuelles (uniforme, Bernoulli, binomiale), l'espérance, la variance et l'écart-type, la covariance, la variance d'une somme, et les inégalités de Markov et de Bienaymé-Tchebychev. L'objectif est de savoir reconnaître une loi binomiale, calculer l'espérance et la variance d'une somme, et utiliser Tchebychev pour majorer une probabilité.

Notions

1. Variable aléatoire et loi

Soit $(\Omega, P)$ un espace probabilisé fini. Une variable aléatoire (v.a.) réelle $X$ est une application $X : \Omega \to \mathbb{R}$. La loi de $X$ est la liste des valeurs $x_i$ prises par $X$ et des probabilités $p_i = P(X = x_i)$ (avec $\sum p_i = 1$).

Fonction d'une variable. Si $g : \mathbb{R} \to \mathbb{R}$ est une fonction, alors $g(X)$ est une v.a. de loi : $P(g(X) = y) = \sum_{\{i \mid g(x_i) = y\}} p_i$.

2. Lois usuelles

• Loi uniforme sur $\{a, \dots, b\}$ : $P(X = k) = \dfrac{1}{b - a + 1}$ pour $k \in \{a, \dots, b\}$. Espérance $\dfrac{a + b}{2}$, variance $\dfrac{(b - a + 1)^2 - 1}{12}$.
• Loi de Bernoulli de paramètre $p$ : $P(X = 1) = p$, $P(X = 0) = 1 - p$. Espérance $p$, variance $p(1 - p)$.
• Loi binomiale $\mathcal{B}(n, p)$ : somme de $n$ variables de Bernoulli indépendantes de paramètre $p$. $P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}$ pour $k \in \{0, \dots, n\}$ (le coefficient $\binom{n}{k}$ compte le nombre de suites de $n$ épreuves avec $k$ succès — cf. M17, dénombrement). Espérance $np$, variance $np(1 - p)$.

Reconnaître une loi binomiale. On a une loi binomiale $\mathcal{B}(n, p)$ si :

1. L'expérience se décompose en $n$ épreuves identiques et indépendantes.
2. Chaque épreuve a deux issues (succès / échec) avec la même probabilité $p$ de succès.
3. $X$ compte le nombre de succès sur les $n$ épreuves.

3. Espérance

L'espérance d'une v.a. $X$ est

$$\mathbb{E}(X) = \sum_i x_i\, p_i.$$

Propriétés.

• Linéarité : $\mathbb{E}(aX + bY) = a\, \mathbb{E}(X) + b\, \mathbb{E}(Y)$ (pour des constantes $a, b$).
• Théorème de transfert : $\mathbb{E}(g(X)) = \sum_i g(x_i)\, p_i$ (on applique $g$ aux valeurs, pas aux probabilités).
• $\mathbb{E}(X) = \mu$ est la valeur moyenne de $X$ ; si $X$ est uniformément distribuée sur $\{a, \dots, b\}$, $\mathbb{E}(X) = \dfrac{a + b}{2}$.

4. Variance et écart-type

La variance de $X$ est

$$\mathrm{Var}(X) = \mathbb{E}\big[(X - \mathbb{E}(X))^2\big] = \mathbb{E}(X^2) - \mathbb{E}(X)^2.$$

L'écart-type est $\sigma(X) = \sqrt{\mathrm{Var}(X)}$.

Propriétés.

• $\mathrm{Var}(aX + b) = a^2\, \mathrm{Var}(X)$ (la constante $b$ n'a pas d'effet).
• $\mathrm{Var}(X) = 0$ si et seulement si $X$ est constante (presque sûrement).
• Si $X$ suit $\mathcal{B}(n, p)$, alors $\mathrm{Var}(X) = np(1 - p)$.

5. Couples de variables, lois marginales et conditionnelles

Soient $X$ et $Y$ deux v.a. sur le même espace fini.

• Loi conjointe : $P(X = x_i, Y = y_j)$ pour tous les couples $(x_i, y_j)$.
• Lois marginales : $P(X = x_i) = \sum_j P(X = x_i, Y = y_j)$ (et symétriquement pour $Y$).
• Loi conditionnelle : $P(X = x_i \mid Y = y_j) = \dfrac{P(X = x_i, Y = y_j)}{P(Y = y_j)}$ (si $P(Y = y_j) > 0$).

Indépendance. $X$ et $Y$ sont indépendants si et seulement si $P(X = x_i, Y = y_j) = P(X = x_i)\, P(Y = y_j)$ pour tous les couples $(x_i, y_j)$.

6. Covariance et variance d'une somme

La covariance de $X$ et $Y$ est

$$\mathrm{Cov}(X, Y) = \mathbb{E}\big[(X - \mathbb{E}(X))(Y - \mathbb{E}(Y))\big] = \mathbb{E}(XY) - \mathbb{E}(X)\, \mathbb{E}(Y).$$

Variance d'une somme.

$$\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\, \mathrm{Cov}(X, Y).$$

Conséquences.

• Si $X$ et $Y$ sont indépendants, alors $\mathrm{Cov}(X, Y) = 0$ et $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$.
• Si $X$ et $Y$ sont indépendantes et de même loi (loi $L$), alors $\mathrm{Var}(X + Y) = 2\, \mathrm{Var}(L)$.
• Attention : $\mathrm{Cov}(X, Y) = 0$ n'implique pas l'indépendance (l'indépendance implique la covariance nulle, pas la réciproque).

Exemple (somme de Bernoulli). Soient $X_1, \dots, X_n$ des variables de Bernoulli indépendantes de paramètre $p$, et $S = \sum_{i=1}^{n} X_i$ (loi binomiale $\mathcal{B}(n, p)$). Alors

$$\mathbb{E}(S) = \sum_{i=1}^{n} \mathbb{E}(X_i) = np, \qquad \mathrm{Var}(S) = \sum_{i=1}^{n} \mathrm{Var}(X_i) = np(1 - p)$$

(l'indépendance annule les covariances croisées).

7. Inégalités de Markov et de Bienaymé-Tchebychev

Inégalité de Markov. Si $X \geq 0$ et $a > 0$, alors

$$P(X \geq a) \leq \frac{\mathbb{E}(X)}{a}.$$

Inégalité de Bienaymé-Tchebychev. Pour tout $a > 0$,

$$P\big(|X - \mathbb{E}(X)| \geq a\big) \leq \frac{\mathrm{Var}(X)}{a^2}.$$

Application. Ces inégalités permettent de majorer une probabilité (de déviation) à partir de l'espérance et de la variance, sans connaître la loi exacte. C'est l'outil de base de la convergence en probabilité et du théorème faible des grands nombres.

Exemple. Soit $X \sim \mathcal{B}(100, 0.5)$ (lancer 100 fois une pièce équilibrée, $X$ = nombre de faces). $\mathbb{E}(X) = 50$, $\mathrm{Var}(X) = 25$. Tchebychev donne

$$P(|X - 50| \geq 10) \leq \frac{25}{100} = 0.25.$$

Donc la probabilité que $X$ s'écarte de 50 de plus de 10 est au plus $25\%$ (la vraie probabilité est bien plus petite, environ $4\%$, mais Tchebychev donne une majoration générale).

8. Théorème faible des grands nombres (cas fini)

Soient $X_1, \dots, X_n$ des variables aléatoires indépendantes et de même loi (espérance $\mu$, variance $\sigma^2 < \infty$), et $S_n = \dfrac{1}{n} \sum_{i=1}^{n} X_i$ la moyenne empirique. Alors

$$\mathbb{E}(S_n) = \mu, \qquad \mathrm{Var}(S_n) = \frac{\sigma^2}{n}.$$

Conséquence (Tchebychev). Pour tout $\varepsilon > 0$,

$$P\big(|S_n - \mu| \geq \varepsilon\big) \leq \frac{\sigma^2}{n\, \varepsilon^2} \xrightarrow{n \to \infty} 0.$$

La moyenne empirique converge en probabilité vers l'espérance : c'est le théorème faible des grands nombres. C'est le fondement statistique de la moyenne (la moyenne d'un grand nombre de mesures est proche de la valeur moyenne).

Exemple. On mesure une grandeur $n$ fois, avec des erreurs indépendantes de variance $\sigma^2$ ; la moyenne des $n$ mesures a une variance $\sigma^2 / n$ : en quadruplant le nombre de mesures, on divise l'incertitude par 2 (l'écart-type par 2). C'est le principe de la moyenne mobile et de la répétition des mesures en physique.

9. Fonction d'une variable : espérance et variance

Soit $X$ une v.a. de loi $\{x_i, p_i\}$ et $g$ une fonction. La v.a. $Y = g(X)$ a pour espérance $\mathbb{E}(Y) = \sum_i g(x_i)\, p_i$ (théorème de transfert). Pour la variance, on calcule $\mathbb{E}(Y^2) = \sum_i g(x_i)^2\, p_i$ puis $\mathrm{Var}(Y) = \mathbb{E}(Y^2) - \mathbb{E}(Y)^2$.

Exemple. Soit $X$ uniforme sur $\{1, 2, 3\}$ et $Y = X^2$. On a $\mathbb{E}(Y) = \dfrac{1 + 4 + 9}{3} = \dfrac{14}{3}$ et $\mathbb{E}(Y^2) = \dfrac{1 + 16 + 81}{3} = \dfrac{98}{3}$ ; donc $\mathrm{Var}(Y) = \dfrac{98}{3} - \left(\dfrac{14}{3}\right)^2 = \dfrac{98 \cdot 3 - 196}{9} = \dfrac{98}{9}$.

Démonstrations exigibles

Démonstrations exigibles — à savoir refaire : Markov et Tchebychev. Markov : soit $X \geq 0$ et $a > 0$. Alors $a\,\mathbb{P}(X \geq a) \leq \sum_{x \geq a} x\,\mathbb{P}(X = x) \leq \sum_x x\,\mathbb{P}(X = x) = \mathbb{E}(X)$, donc $\mathbb{P}(X \geq a) \leq \mathbb{E}(X)/a$. Tchebychev : soit $X$ d'espérance $\mu$ et de variance $\sigma^2$. En appliquant Markov à $(X - \mu)^2 \geq 0$ avec $a = \varepsilon^2$ : $\mathbb{P}((X - \mu)^2 \geq \varepsilon^2) \leq \mathbb{E}((X - \mu)^2)/\varepsilon^2 = \sigma^2/\varepsilon^2$. Comme $(X - \mu)^2 \geq \varepsilon^2 \Leftrightarrow |X - \mu| \geq \varepsilon$, on a $\mathbb{P}(|X - \mu| \geq \varepsilon) \leq \sigma^2/\varepsilon^2$ (la loi faible est une application directe de Tchebychev).

Capacités exigibles

• M19.esperance-variance — Calculer l'espérance et la variance d'une somme : utiliser la linéarité de l'espérance et la formule $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X, Y)$ (avec $\mathrm{Cov} = 0$ si indépendance).

Pièges classiques

• $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X, Y)$ : il ne faut pas oublier le terme de covariance ; il s'annule seulement si $X$ et $Y$ sont indépendants (ou non corrélés).
• L'indépendance annule la covariance : si $X$ et $Y$ sont indépendants, alors $\mathrm{Cov}(X, Y) = 0$ ; mais la réciproque est fausse (covariance nulle $\nRightarrow$ indépendance).
• $\mathrm{Var}(aX + b) = a^2\, \mathrm{Var}(X)$, pas $a\, \mathrm{Var}(X) + b$ : la variance est homogène de degré 2 (le facteur $a$ est au carré) et invariante par translation (le terme $b$ disparaît).
• Loi binomiale : indépendance des épreuves : si les épreuves ne sont pas indépendantes, la somme des Bernoulli n'est pas binomiale (même si l'espérance et la variance coïncident, la loi diffère).
• Théorème de transfert : on applique $g$ aux valeurs : $\mathbb{E}(g(X)) = \sum g(x_i) p_i$ (pas $\sum g(x_i) g(p_i)$) ; la fonction $g$ s'applique aux valeurs de $X$, pas aux probabilités.
• Tchebychev : c'est une majoration, pas une égalité : l'inégalité donne un borne supérieure ; la vraie probabilité peut être bien plus petite (surtout pour les lois concentrées).

Graphe de référence

La loi binomiale $\mathcal{B}(100, 0.5)$ (lancer 100 fois une pièce) est concentrée autour de son espérance $50$ avec un écart-type $\sqrt{25} = 5$ ; la courbe $\binom{100}{k} 2^{-100}$ (en fonction de $k$) montre la « forme de cloche » (l'approximation normale de la binomiale est un complément hors programme, à connaître comme culture).

Pour aller plus loin

Annales utilisables sur ce chapitre (§4 de l'annexe Ressources, exercices et annales) : CCINP et e3a (exercice de probabilités, souvent 100 % PCSI).

Voir aussi Ressources, exercices et annales pour les manuels recommandés et les banques d'exercices gratuites.