Obtenir un certificat — 34,29 $12 $
Statistiques et tests A/B pour analystes de données
Décrire des données, construire et lire des intervalles de confiance, mener des tests d’hypothèse sans abuser des valeurs p, concevoir des tests A/B bien dimensionnés et rendre compte honnêtement des résultats.
Ce que vous allez apprendre
- Résumer un jeu de données avec les bonnes mesures de position et de dispersion et repérer asymétrie et valeurs aberrantes avant tout test.
- Expliquer la variabilité d’échantillonnage, l’erreur standard et les principales sources de biais d’échantillonnage.
- Calculer et interpréter des intervalles de confiance pour une moyenne, une proportion et une différence.
- Choisir et mener un test d’hypothèse et interpréter correctement la valeur p, les erreurs et la puissance.
- Distinguer corrélation et causalité et lire une régression simple, y compris ses limites.
- Concevoir un test A/B : unité, indicateurs, randomisation, taille d’échantillon, durée et contrôles comme le déséquilibre de répartition.
- Rendre compte honnêtement des résultats : taille d’effet, intervalle, comparaisons multiples, consultation intermédiaire et décision claire.
Modules
- Décrire les données avant de les tester
- Échantillons, distributions et erreur standard
- Intervalles de confiance
- Tests d’hypothèse et valeurs p
- Corrélation, causalité et régression simple
- Concevoir un test A/B
- Lire et présenter les résultats honnêtement
Fiche de la formation
- Durée d’étude estimée
- environ 60 minutes
- Évaluation finale
- 42 questions · Seuil de réussite 80%
- Disponible en
- English, Français, العربية
- Prix
- Gratuit. Certificat vérifiable en option : 12 $
- Dernière mise à jour
- Publié par
- AMAADOR ACADEMY
À qui s’adresse cette formation
Analystes de données débutants ou en poste, analystes BI et produit, marketeurs, analystes opérations et RH, et toute personne qui doit juger si un écart dans les chiffres est réel. Un niveau tableur suffit ; les exemples de code utilisent Python et R, mais chaque notion fonctionne aussi dans Excel.
Prérequis
Arithmétique et pourcentages de niveau secondaire. Une première expérience d’un tableur ou d’un outil de données aide. Aucune programmation n’est exigée.
Contenu de la formation
1. Décrire les données avant de les tester
Tout choix statistique commence par le type de variable. Les variables qualitatives sont des étiquettes (pays, offre, appareil). Les variables quantitatives sont des quantités (montant de commande, temps de chargement). Un résultat oui/non comme « converti » est qualitatif, et sa moyenne est une proportion. Confondre les types est la cause la plus fréquente d’un mauvais choix de test par la suite.
Pour décrire le centre d’une variable quantitative, vous avez trois outils. La moyenne additionne tout et divise par l’effectif. La médiane est la valeur du milieu une fois les données triées. Le mode est la valeur la plus fréquente.
Prenez cinq temps de chargement en secondes : 12, 13, 14, 15 et 90. La moyenne vaut 144 / 5 = 28,8. La médiane vaut 14. Une seule session lente a tiré la moyenne vers une valeur qui ne décrit personne. La médiane dit toujours la vérité sur une visite typique.
| Question | Outil |
|---|---|
| Valeur typique, données à peu près symétriques | Moyenne |
| Valeur typique, données asymétriques (revenus, durées, paniers) | Médiane |
| Catégorie ou valeur la plus courante | Mode |
| Impact total (chiffre d’affaires, heures) | Moyenne multipliée par l’effectif |
2. Échantillons, distributions et erreur standard
Vous ne voyez presque jamais toute la population. Vous voyez un échantillon, et un autre échantillon donnerait une réponse un peu différente. Cette oscillation est la variabilité d’échantillonnage, et toute l’inférence consiste à la mesurer.
L’erreur standard (ES) est la taille typique de cette oscillation pour une statistique comme une moyenne ou une proportion. Ne la confondez pas avec l’écart-type, qui décrit la dispersion entre individus.
| Statistique | Erreur standard | Exemple |
|---|---|---|
| Moyenne | Écart-type / racine de n | Écart-type 20, n = 100 donne 2 |
| Proportion | racine de p(1 - p) / n | p = 0,5, n = 400 donne 0,025 |
Deux conséquences comptent chaque semaine. D’abord, l’ES diminue avec la racine carrée de n : pour diviser l’incertitude par deux, il faut quatre fois plus de données. Ensuite, un petit échantillon peut montrer un grand écart par pur hasard.
Le théorème central limite explique pourquoi cette boîte à outils fonctionne : avec assez d’observations, la distribution des moyennes d’échantillons est proche d’une courbe normale (en cloche), même si les données brutes sont asymétriques. Environ 95 % des moyennes d’échantillons tombent à moins de deux ES de la vraie moyenne. Pour des indicateurs très asymétriques comme le revenu par utilisateur, « assez » peut vouloir dire des milliers d’utilisateurs ; en cas de doute, vérifiez par bootstrap (rééchantillonnage de vos propres données).
3. Intervalles de confiance
Un chiffre isolé comme « 13 % de conversion » masque votre degré de certitude. Un intervalle de confiance (IC) ajoute une plage : les valeurs de la vraie grandeur raisonnablement compatibles avec vos données. La recette générale est estimation ± valeur critique × erreur standard, la valeur critique valant environ 1,96 pour un intervalle à 95 % fondé sur la loi normale.
Proportion. 52 visiteurs sur 400 se sont inscrits, donc p = 0,13. ES = racine de 0,13 × 0,87 / 400 = 0,0168. La marge est 1,96 × 0,0168 = 0,033. L’IC à 95 % va de 9,7 % à 16,3 %. Mêmes données, réponse honnête : « entre environ 10 % et 16 % ».
Moyenne. 25 appels au support durent en moyenne 42,0 minutes, avec un écart-type de 10. ES = 10 / 5 = 2. Avec 24 degrés de liberté, la valeur critique de t est 2,064, donc la marge est de 4,1 minutes et l’IC va de 37,9 à 46,1 minutes. Pour les petits échantillons, utilisez la loi de Student, pas 1,96.
4. Tests d’hypothèse et valeurs p
Un test d’hypothèse pose une question étroite : s’il n’y avait réellement aucune différence, à quel point mes données seraient-elles surprenantes ? L’hypothèse d’absence de différence est l’hypothèse nulle (H0). L’affirmation que vous espérez soutenir est l’alternative (H1).
La valeur p est la probabilité d’observer un résultat au moins aussi extrême que le vôtre si H0 était vraie. Prenez A à 5,0 % (200 sur 4 000) et B à 6,0 % (240 sur 4 000). Le taux groupé (A et B réunis) est de 5,5 %, l’ES sous H0 est de 0,51 point, donc z = 1,0 / 0,51 = 1,96 et la valeur p bilatérale est d’environ 0,0498. Un résultat dont p est inférieur au seuil de signification alpha choisi (souvent 0,05) est dit statistiquement significatif.
Deux erreurs sont possibles :
| H0 est vraie (pas d’effet) | H0 est fausse (effet réel) | |
|---|---|---|
| Vous rejetez H0 | Erreur de type I, faux positif, probabilité alpha | Détection correcte |
| Vous gardez H0 | Correct | Erreur de type II, effet manqué, probabilité bêta |
5. Corrélation, causalité et régression simple
Le coefficient de corrélation r va de -1 à +1 et mesure à quel point deux variables quantitatives évoluent le long d’une droite. Près de 0, il n’y a pas de relation linéaire ; près de +1 ou -1, elle est forte. Le r de Pearson (scipy.stats.pearsonr, cor() en R, COEFFICIENT.CORRELATION dans Excel) suppose un lien à peu près linéaire et réagit aux valeurs aberrantes ; la corrélation de rang de Spearman (scipy.stats.spearmanr) supporte mieux l’asymétrie et les courbes.
Quand A et B sont corrélées, il y a quatre explications : A cause B, B cause A, un troisième facteur C (un facteur de confusion) agit sur les deux, ou c’est le hasard. Les ventes de glaces et les noyades augmentent ensemble l’été à cause de la météo, pas parce que les glaces sont dangereuses.
Quatre explications pour une même corrélation. Les données seules disent rarement laquelle.
Cas : à l’automne 1973, l’université de Californie à Berkeley a admis environ 44 % des 8 442 candidats hommes et environ 35 % des 4 321 candidates, ce qui ressemblait à un biais contre les femmes. Bickel, Hammel et O’Connell (Science, 1975) ont découpé les données par département : les femmes avaient davantage candidaté dans des départements qui admettent peu, et au sein des départements l’écart était faible ou inversé. Le schéma global était renversé par une variable de regroupement cachée. C’est le paradoxe de Simpson.
6. Concevoir un test A/B
Un test A/B (expérience contrôlée randomisée) répartit les utilisateurs au hasard entre un témoin (A) et une variante (B), leur montre des expériences différentes et compare un résultat. Comme le hasard décide qui voit quoi, les groupes se ressemblent sur tout sauf le changement : une différence peut être lue comme l’effet du changement. C’est le seul outil courant qui donne de la causalité.
- Rédiger l’hypothèse — « Afficher les frais de livraison plus tôt augmentera la finalisation de commande des nouveaux visiteurs ».
- Choisir l’unité de randomisation — en général l’utilisateur, pas la page vue, pour qu’une personne ne voie jamais les deux versions. Gardez-la stable d’une visite à l’autre.
- Fixer l’indicateur principal — un seul chiffre qui tranche, comme le taux de finalisation.
- Ajouter des indicateurs de garde-fou — ce qui ne doit pas se dégrader : vitesse de page, taux de remboursement, taux d’erreur, revenu par utilisateur.
- Choisir alpha, puissance et le plus petit effet utile et tout consigner avant le lancement.
| Type d’indicateur | Rôle | Exemple |
|---|---|---|
| Principal | Décide du déploiement | Taux de finalisation de commande |
| Secondaire | Explique pourquoi | Taux d’ajout au panier |
| Garde-fou | Protège contre un effet néfaste | Tickets au support, temps de chargement |
7. Lire et présenter les résultats honnêtement
Chaque test à alpha = 0,05 a 5 % de chances de fausse alerte quand il ne se passe rien. En multipliant les tests, les alertes s’accumulent. Avec 20 indicateurs indépendants et aucun effet réel, la probabilité d’obtenir au moins un résultat « significatif » est 1 - 0,95^20, soit environ 64 %. Découpez la même expérience par pays, appareil et offre, et vous trouverez presque toujours un gagnant.
Cas type : le test d’une nouvelle page d’accueil ne montre aucun gain global. L’analyste examine alors 12 segments et annonce que « les visiteurs récurrents sur Android en Espagne » se sont améliorés avec p = 0,03. Avec 12 examens, un ou deux résultats de ce type sont attendus par hasard. L’étiquette honnête est « hypothèse exploratoire à retester ».
Les remèdes sont simples.
- Déclarer un seul indicateur principal à l’avance. Tout le reste est secondaire ou exploratoire, et vous le dites.
- Corriger les tests multiples quand c’est nécessaire. Bonferroni divise alpha par le nombre de tests (0,05 / 20 = 0,0025) ; simple et strict. Holm est uniformément plus puissant. La méthode de Benjamini-Hochberg contrôle le taux de fausses découvertes et convient aux grands criblages. En Python : statsmodels.stats.multitest.multipletests ou scipy.stats.false_discovery_control ; en R : p.adjust().
- Reproduire toute découverte de segment surprenante par un nouveau test.
La leçon complète se poursuit dans la formation interactive de cette page.
Sources et références
- ASA Statement on Statistical Significance and P-Values (Wasserstein and Lazar, 2016)
- e-Handbook of Statistical Methods
- scipy.stats: statistical functions
- statsmodels: statistics and tests, power and proportions
- R stats package index (t.test, prop.test, power.prop.test, lm)
- Excel T.TEST function
- Estimating the reproducibility of psychological science (Science, 2015)
- Trustworthy Online Controlled Experiments (2020), companion site
Formation pédagogique sur la pratique statistique. Elle ne constitue pas un conseil professionnel pour les travaux réglementés (essais cliniques, modèles de risque financier, preuve juridique), qui exigent un statisticien qualifié et les règles applicables. Les outils et fonctions sont décrits tels que leurs éditeurs les documentent en 2026 ; consultez la documentation de votre version. Les exemples chiffrés sont arrondis et illustratifs.
Toutes les formations · IA & données — Formations gratuites, certificat à partir de 7 $