Expérimentation et incrémentalité
Passez de l’attribution à la preuve.
Groupes témoins, expériences géographiques et tests de plateforme conçus selon votre trafic, vos volumes et vos contraintes, pour savoir ce que le marketing a réellement causé.
Problèmes traités
Le marketing a-t-il causé le résultat, ou seulement reçu le crédit ?
L’attribution répartit le crédit de conversions qui auraient peut-être eu lieu de toute façon. Le seul moyen direct de voir ce que la dépense a changé est de comparer avec un groupe qui ne l’a pas reçue, et le bon protocole dépend de votre trafic, de vos volumes de conversion, de votre géographie, de vos canaux et de vos contraintes.
Le crédit n’est pas la causalité
Le ROAS déclaré par les plateformes inclut des clients qui auraient acheté de toute façon.
Des tests sans puissance suffisante
Des expériences lancées sans vérifier qu’elles peuvent détecter l’effet qui compte.
Des résultats auxquels personne ne croit
Des tests analysés après coup, avec des définitions changeantes, tranchent rarement une décision.
Des preuves jamais réutilisées
Des résultats d’expériences qui ne nourrissent jamais le reporting courant.
Livrables
Conception d’expérience
Hypothèse, indicateur, protocole et règle de décision validés avant le lancement.
Analyse de faisabilité
Une analyse préalable pour savoir si les volumes disponibles peuvent détecter un effet significatif.
Tests témoins et géographiques
Des protocoles adaptés à vos canaux et contraintes, des groupes témoins d’audience aux tests régionaux.
Suivi et analyse
Des contrôles pendant le test et une analyse qui énonce clairement l’incertitude.
Calibration
Utiliser les résultats pour ajuster la lecture de la mesure courante.
Déroulement
Cadrer la décision
Quelle décision de budget ou de canal le résultat doit-il changer ?
Vérifier la faisabilité
Estimer ce que les données disponibles peuvent détecter avant d’engager du budget.
Mener le test
Lancer, suivre et documenter l’expérience.
Analyser et calibrer
Restituer l’effet avec son intervalle et ajuster la mesure courante en conséquence.
Outils et systèmes
- Geo experiments
- Holdout groups
- Platform lift studies
- A/B testing
- Python
- SQL
Questions
Toutes les entreprises peuvent-elles expérimenter ?
Non. La faisabilité dépend du trafic, des volumes de conversion, de la géographie, des canaux et des contraintes. La première étape est une vérification honnête de ce qui peut être détecté ; parfois, la réponse est qu’un test ne serait pas encore informatif.
Une expérience randomisée est-elle toujours possible ?
Pas toujours. Quand une randomisation complète est impossible en pratique, d’autres protocoles comme les tests géographiques ou les comparaisons appariées peuvent convenir, avec leurs limites énoncées.
Qu’est-ce que la calibration ?
Utiliser les résultats d’expériences pour vérifier et ajuster la mesure courante, afin que les chiffres lus chaque semaine reflètent ce que les tests ont montré.