Des preuves plus solides avant de déplacer un budget.
Quand le trafic et les volumes permettent un test, une expérience par groupe témoin ou géographique estime ce que la dépense a changé, avec sa marge d’incertitude, pour qu’une décision budgétaire repose sur un effet mesuré. La faisabilité est vérifiée avant d’engager un budget de test.
Problèmes traités
Le marketing a-t-il causé le résultat, ou seulement reçu le crédit ?
Le moyen le plus direct de voir ce que la dépense a changé est de comparer avec un groupe comparable qui ne l’a pas reçue. Le bon protocole dépend de votre trafic, de vos volumes de conversion, de votre géographie, de vos canaux et de vos contraintes.
Le crédit n’est pas la causalité
Le ROAS déclaré par les plateformes peut inclure des clients qui auraient acheté de toute façon.
Des tests sans puissance suffisante
Des expériences lancées sans vérifier qu’elles peuvent détecter l’effet qui compte.
Des résultats auxquels personne ne croit
Des tests analysés après coup, avec des définitions changeantes, tranchent rarement une décision.
Des preuves jamais réutilisées
Des résultats d’expériences qui ne nourrissent jamais le reporting courant.
L’attribution montre quelle campagne a reçu le crédit. Une expérience estime ce que la campagne a causé, en comparant un groupe qui l’a reçue à un groupe comparable qui ne l’a pas reçue.
Choisir un protocole
Le bon protocole dépend de ce qui peut être randomisé. Chaque étape de ce parcours cède une part de contrôle sur le protocole : une étude d’incrémentalité de plateforme reste randomisée, mais c’est la plateforme qui la mène et en rend compte.
Peut-on randomiser les utilisateurs ou les comptes ?
Oui
Groupe témoin individuel
Non
Existe-t-il des régions géographiques comparables ?
Oui
Test géographique
Les régions sont appariées sur leur historique avant l’affectation.
Non
La plateforme propose-t-elle une étude d’incrémentalité (lift) ?
Oui
Expérience de plateforme
Mesurée dans une seule plateforme, par cette plateforme.
Non
Sinon
Analyse quasi expérimentale ou observationnelle
Utile, avec une identification causale plus faible. Le rapport le dit explicitement.
Ce que précise un plan d’expérience
- Hypothèse
- Le changement testé, le résultat qu’il doit faire bouger et le sens attendu, écrits avant le lancement.
Unité de randomisation Utilisateurs, comptes ou régions : ce qui peut être affecté sans qu’un groupe influence l’autre.
Groupe test
Reçoit la campagne ou le changement testé.
Groupe témoin
Ne le reçoit pas pendant la même période.
- Indicateur principal
- Un résultat commercial défini à l’avance, de préférence issu du CRM.
- Effet minimal détectable
- Le plus petit effet qui justifierait d’agir, fixé au regard du taux de base et de sa variabilité.
- Puissance
- Choisie avant le lancement, pour qu’un résultat nul soit informatif plutôt que non concluant.
- Durée
- Assez longue pour couvrir le cycle de vente et les variations hebdomadaires.
- Faisabilité
- Vérifiée au regard du trafic, des volumes de conversion, du budget et des contraintes opérationnelles avant tout lancement.
- Ce que le résultat permet d'établir
- Une estimation avec un intervalle, valable pour la population, la période et le protocole testés.
Décision et limites
Un test adapté peut éclairer la question de savoir si une action a produit des résultats supplémentaires. Sa faisabilité dépend de la décision, du niveau initial, du volume, de la variabilité, du calendrier et d'un groupe comparable. Le résultat peut rester incertain.
Livrables
Conception d’expérience
Hypothèse, indicateur, protocole et règle de décision validés avant le lancement.
Analyse de faisabilité
Une analyse préalable pour savoir si les volumes disponibles peuvent détecter un effet significatif.
Tests témoins et géographiques
Des protocoles adaptés à vos canaux et contraintes, des groupes témoins d’audience aux tests régionaux.
Suivi et analyse
Des contrôles pendant le test et une analyse qui énonce clairement l’incertitude.
Calibration
Utiliser les résultats pour ajuster la lecture de la mesure courante.
Déroulement
Cadrer la décision
Quelle décision de budget ou de canal le résultat doit-il changer ?
Vérifier la faisabilité
Estimer ce que les données disponibles peuvent détecter avant d’engager du budget.
Mener le test
Lancer, suivre et documenter l’expérience.
Analyser et calibrer
Restituer l’effet avec son intervalle et ajuster la mesure courante en conséquence.
Outils et systèmes
- Geo experiments
- Holdout groups
- Platform lift studies
- A/B testing
- Python
- SQL
Questions
Toutes les entreprises peuvent-elles expérimenter ?
Non. La faisabilité dépend du trafic, des volumes de conversion, de la géographie, des canaux et des contraintes. La première étape est une vérification honnête de ce qui peut être détecté ; parfois, la réponse est qu’un test ne serait pas encore informatif.
Une expérience randomisée est-elle toujours possible ?
Pas toujours. Quand une randomisation complète est impossible en pratique, d’autres protocoles comme les tests géographiques ou les comparaisons appariées peuvent convenir, avec leurs limites énoncées.
Qu’est-ce que la calibration ?
Utiliser les résultats d’expériences pour vérifier et ajuster la mesure courante, afin que les chiffres lus chaque semaine reflètent ce que les tests ont montré.