Aller au contenu

Des preuves plus solides avant de déplacer un budget.

Quand le trafic et les volumes permettent un test, une expérience par groupe témoin ou géographique estime ce que la dépense a changé, avec sa marge d’incertitude, pour qu’une décision budgétaire repose sur un effet mesuré. La faisabilité est vérifiée avant d’engager un budget de test.

Problèmes traités

Le marketing a-t-il causé le résultat, ou seulement reçu le crédit ?

Le moyen le plus direct de voir ce que la dépense a changé est de comparer avec un groupe comparable qui ne l’a pas reçue. Le bon protocole dépend de votre trafic, de vos volumes de conversion, de votre géographie, de vos canaux et de vos contraintes.

  • Le crédit n’est pas la causalité

    Le ROAS déclaré par les plateformes peut inclure des clients qui auraient acheté de toute façon.

  • Des tests sans puissance suffisante

    Des expériences lancées sans vérifier qu’elles peuvent détecter l’effet qui compte.

  • Des résultats auxquels personne ne croit

    Des tests analysés après coup, avec des définitions changeantes, tranchent rarement une décision.

  • Des preuves jamais réutilisées

    Des résultats d’expériences qui ne nourrissent jamais le reporting courant.

L’attribution montre quelle campagne a reçu le crédit. Une expérience estime ce que la campagne a causé, en comparant un groupe qui l’a reçue à un groupe comparable qui ne l’a pas reçue.

Choisir un protocole

Le bon protocole dépend de ce qui peut être randomisé. Chaque étape de ce parcours cède une part de contrôle sur le protocole : une étude d’incrémentalité de plateforme reste randomisée, mais c’est la plateforme qui la mène et en rend compte.

Choix du protocole
  1. Peut-on randomiser les utilisateurs ou les comptes ?

    Oui

    Groupe témoin individuel

    Non

  2. Existe-t-il des régions géographiques comparables ?

    Oui

    Test géographique

    Les régions sont appariées sur leur historique avant l’affectation.

    Non

  3. La plateforme propose-t-elle une étude d’incrémentalité (lift) ?

    Oui

    Expérience de plateforme

    Mesurée dans une seule plateforme, par cette plateforme.

    Non

  4. Sinon

    Analyse quasi expérimentale ou observationnelle

    Utile, avec une identification causale plus faible. Le rapport le dit explicitement.

Ce que précise un plan d’expérience

Plan d’expérience
Hypothèse
Le changement testé, le résultat qu’il doit faire bouger et le sens attendu, écrits avant le lancement.

Unité de randomisation Utilisateurs, comptes ou régions : ce qui peut être affecté sans qu’un groupe influence l’autre.

Groupe test

Reçoit la campagne ou le changement testé.

Groupe témoin

Ne le reçoit pas pendant la même période.

Indicateur principal
Un résultat commercial défini à l’avance, de préférence issu du CRM.
Effet minimal détectable
Le plus petit effet qui justifierait d’agir, fixé au regard du taux de base et de sa variabilité.
Puissance
Choisie avant le lancement, pour qu’un résultat nul soit informatif plutôt que non concluant.
Durée
Assez longue pour couvrir le cycle de vente et les variations hebdomadaires.
Faisabilité
Vérifiée au regard du trafic, des volumes de conversion, du budget et des contraintes opérationnelles avant tout lancement.
Ce que le résultat permet d'établir
Une estimation avec un intervalle, valable pour la population, la période et le protocole testés.

Décision et limites

Un test adapté peut éclairer la question de savoir si une action a produit des résultats supplémentaires. Sa faisabilité dépend de la décision, du niveau initial, du volume, de la variabilité, du calendrier et d'un groupe comparable. Le résultat peut rester incertain.

Livrables

  • Conception d’expérience

    Hypothèse, indicateur, protocole et règle de décision validés avant le lancement.

  • Analyse de faisabilité

    Une analyse préalable pour savoir si les volumes disponibles peuvent détecter un effet significatif.

  • Tests témoins et géographiques

    Des protocoles adaptés à vos canaux et contraintes, des groupes témoins d’audience aux tests régionaux.

  • Suivi et analyse

    Des contrôles pendant le test et une analyse qui énonce clairement l’incertitude.

  • Calibration

    Utiliser les résultats pour ajuster la lecture de la mesure courante.

Déroulement

  1. Cadrer la décision

    Quelle décision de budget ou de canal le résultat doit-il changer ?

  2. Vérifier la faisabilité

    Estimer ce que les données disponibles peuvent détecter avant d’engager du budget.

  3. Mener le test

    Lancer, suivre et documenter l’expérience.

  4. Analyser et calibrer

    Restituer l’effet avec son intervalle et ajuster la mesure courante en conséquence.

Outils et systèmes

  • Geo experiments
  • Holdout groups
  • Platform lift studies
  • A/B testing
  • Python
  • SQL

Questions

Toutes les entreprises peuvent-elles expérimenter ?

Non. La faisabilité dépend du trafic, des volumes de conversion, de la géographie, des canaux et des contraintes. La première étape est une vérification honnête de ce qui peut être détecté ; parfois, la réponse est qu’un test ne serait pas encore informatif.

Une expérience randomisée est-elle toujours possible ?

Pas toujours. Quand une randomisation complète est impossible en pratique, d’autres protocoles comme les tests géographiques ou les comparaisons appariées peuvent convenir, avec leurs limites énoncées.

Qu’est-ce que la calibration ?

Utiliser les résultats d’expériences pour vérifier et ajuster la mesure courante, afin que les chiffres lus chaque semaine reflètent ce que les tests ont montré.

Travaux de mesure liés