Tests d'incrémentalité pour publicité 'always on': défis et perspectives

Les tests d'incrémentalité sont une méthode de mesure de l'efficacité des campagnes marketing. Ils consistent à comparer les résultats d'une campagne avec ceux d'un groupe de contrôle pour déterminer l'impact réel de la campagne. Cette approche permet d'évaluer l'efficacité d'une campagne de manière plus précise que les méthodes traditionnelles, qui se contentent de mesurer les performances globales sans tenir compte des facteurs externes.

Les tests d'incrémentalité sont particulièrement utiles pour mesurer l'efficacité des campagnes de marketing digital, où il est souvent difficile de déterminer l'impact réel d'une campagne en raison de la complexité des interactions entre les différents canaux et des effets de halo. En comparant les résultats d'une campagne avec ceux d'un groupe de contrôle, les marketeurs peuvent isoler l'impact direct de la campagne et évaluer sa contribution réelle aux objectifs de l'entreprise.

Mais en pratique, il peut être difficile de mettre en place des tests d'incrémentalité efficaces. Voici quelques défis courants auxquels les marketeurs sont confrontés lorsqu'ils essaient de mesurer l'incrémentalité de leurs campagnes :

1. Définition des objectifs : Avant de mettre en place un test d'incrémentalité, il est essentiel de définir clairement les objectifs de la campagne et les métriques à mesurer. Cela permet de s'assurer que le test est bien conçu pour répondre aux questions spécifiques que l'entreprise se pose.

2. Sélection du groupe de contrôle : Le choix du groupe de contrôle est crucial pour garantir la validité des résultats du test. Il est important de sélectionner un groupe de contrôle représentatif de la population cible et de s'assurer qu'il est comparable au groupe exposé à la campagne. Généralement, les entreprise n'ont accès qu'à des données agrégées, comme les ventes totales, ce qui peut rendre difficile la création d'un groupe de contrôle équivalent.

3. Mesure de l'incrémentalité : Une fois le test mis en place, il est essentiel de mesurer correctement l'incrémentalité de la campagne. Cela implique de comparer les résultats du groupe exposé à la campagne avec ceux du groupe de contrôle et d'isoler l'impact direct de la campagne en tenant compte des facteurs externes. La difficulté réside souvent dans la quantification de cet impact et dans la séparation des effets de la campagne des autres facteurs qui peuvent influencer les résultats.

4. Interprétation des résultats : Enfin, une fois les résultats du test obtenus, il est essentiel de les interpréter correctement pour en tirer des conclusions pertinentes. Cela implique souvent de faire preuve de rigueur dans l'analyse des données et de prendre en compte les limites et les biais potentiels du test. Or les biais sont nombreux, et il est souvent difficile de les identifier et de les corriger. Il est important de rester critique et de ne pas tirer de conclusions hâtives à partir des résultats d'un seul test. Il est souvent nécessaire de mener plusieurs tests pour confirmer les conclusions et s'assurer de leur validité. L'échec doit être envisagé comme une possibilité, et non comme une fatalité. Beaucoup de clients s'attendent à avoir des tests parfaits mais ce n'est quasiment jamais le cas. Il est important de bien communiquer sur les limites des tests et de ne pas surpromettre.

Types de tests d'incrémentalité

Il existe plusieurs types de tests d'incrémentalité, chacun adapté à des objectifs et des contextes spécifiques. Voici quelques-uns des types de tests les plus courants :

1. Essais Contrôlés Randomisés (ECR) : Aussi connus sous le nom de tests A/B, cette méthode consiste à diviser aléatoirement l'audience en groupes de contrôle et de test. Le groupe de test est exposé à la campagne marketing, tandis que le groupe de contrôle ne l'est pas. La différence de résultats entre les deux groupes est attribuée à la campagne. En pratique, il est souvent difficile de mettre en place des ECR rigoureux en raison des contraintes opérationnelles et des biais potentiels.

2. Tests Basés sur la Géographie : Cette approche implique de sélectionner différentes régions géographiques pour recevoir différents traitements marketing ou aucun traitement du tout. En comparant les indicateurs de performance (comme les ventes ou le trafic) à travers ces régions, les marketeurs peuvent déduire l'impact de leurs campagnes. Le problème est que les régions ne sont pas toujours comparables, et que les effets de halo peuvent biaiser les résultats.

3. Tests Basés sur le Temps : Les marketeurs peuvent mesurer l'incrémentalité en modifiant l'exposition à une campagne sur différentes périodes. Par exemple, comparer les ventes pendant une période de campagne par rapport à une période sans activités de campagne peut mettre en évidence l'impact incrémental de la campagne. Cependant, cette méthode ne tient pas compte des facteurs saisonniers ou des effets de halo. Il faut donc être prudent dans l'interprétation des résultats ou trouver une autre façon de prendre en compte ces effets.

4. Tests de Retour : Similaires aux tests basés sur le temps, les tests de retour impliquent d'alterner des périodes d'exposition et de non-exposition à une initiative marketing. Cette méthode est particulièrement utile dans les environnements où les facteurs externes sont peu contrôlés, aidant à moyenner la variabilité dans le temps. En pratique, ces tests sont souvent difficiles à mettre en place en raison des contraintes opérationnelles. Difficile de dire à un marketeur de stopper une campagne pour voir si elle est efficace, surtout dans un contexte de publicité 'always on'.

5. Modèles d'Attribution Algorithmique : Ces modèles utilisent des techniques statistiques avancées pour attribuer le crédit à divers points de contact marketing le long du chemin d'achat d'un client. En analysant les changements dans les résultats avec des niveaux d'exposition variables à différents canaux, ces modèles estiment les impacts incrémentaux. En revanche, ces modèles sont souvent complexes et nécessitent des données granulaires pour fonctionner correctement. Ils peuvent également être sensibles aux biais et aux erreurs de modélisation.

6. Tests de Marchés Appariés : Dans cette approche, les marchés sont appariés en fonction de caractéristiques similaires, avec un marché recevant la campagne et l'autre servant de contrôle. La comparaison des résultats entre ces paires appariées peut fournir des insights sur l'incrémentalité de la campagne. Des solutions comme 'geolift' de Meta peuvent aider à mettre en place ces tests, mais ils nécessitent souvent des volumes de données importants pour être significatifs. Il est souvent difficile de trouver des marchés appariés, et les effets de halo peuvent biaiser les résultats.

Tests de Marchés Appariés via Geolift de Meta

Incrémentalité en temps de publicité 'always on'

Dans un contexte de publicité 'always on', où les campagnes marketing sont continuellement diffusées, il peut être difficile de mesurer l'incrémentalité de manière précise. Les effets de halo, les interactions complexes entre les différents canaux et les facteurs externes peuvent biaiser les résultats des tests d'incrémentalité.

Il est important de garder à l'esprit que les tests d'incrémentalité ne sont pas une solution miracle et qu'ils présentent des limites. Il est essentiel de prendre en compte ces limites lors de la conception et de l'interprétation des tests pour éviter les conclusions erronées.

Pour des tests réussis, il est recommandé, quand cela est possible, d'avoir une période de 'washout' avant et après la campagne pour s'assurer que les effets de la campagne sont bien isolés. La période de 'washout' est une période pendant laquelle aucune campagne n'est diffusée, permettant de mesurer les effets de la campagne précédente et de s'assurer que les effets de la campagne actuelle sont bien isolés. Cela permet de réduire les effets de halo et d'obtenir des résultats plus précis. Ceci est particulièrement important dans un contexte de publicité 'always on', où les effets de halo peuvent être importants. Mais soyons clairs, peu d'entreprises peuvent se permettre de ne pas diffuser de campagnes pendant une période prolongée. Il est donc essentiel de trouver un équilibre entre la précision des tests et la continuité des campagnes.

Il est également recommandé d'avoir plusieurs techniques d'évaluation du lift, de la plus simple à la plus complexe, pour confirmer les résultats et s'assurer de leur validité. Les tests d'incrémentalité ne sont pas une science exacte, et il est important de prendre en compte les limites et les biais potentiels pour obtenir des résultats fiables. La méthode la plus simple consiste à comparer naïvement les ventes du groupe exposé à la campagne avec celles du groupe de contrôle, ou l'évolution des ventes avant et après la campagne, ou encore l'évolution des ventes versus la une période de référence (année dernière, même période, etc). Tout en gardant à l'esprit que ces méthodes simples ne tiennent pas compte des effets de halo et des interactions complexes entre les différents canaux.

Le futur des tests d'incrémentalité

Quand j'étais ingénieur dans l'industrie pétrolière, je travaillais sur de la modélisation de réservoirs. Nous utilisions des méthodes de résolution numérique pour simuler le comportement des fluides dans les réservoirs et optimiser la production. Les tests d'incrémentalité en marketing me rappellent ces méthodes de modélisation. Nous essayons de comprendre l'impact d'une campagne marketing en isolant les effets de la campagne des autres facteurs qui peuvent influencer les résultats. C'est un défi complexe, mais essentiel pour mesurer l'efficacité des campagnes et allouer efficacement les ressources marketing.

Ma conviction est que le futur sera fait de solutions permettant de continuellement modéliser et mesurer l'incrémentalité en temps réel. Les avancées en intelligence artificielle et en analyse de données permettront de mieux comprendre les interactions complexes entre les différents canaux marketing et d'isoler l'impact direct des campagnes. Les modèles prédictifs et les algorithmes d'apprentissage automatique permettront d'anticiper les effets des campagnes et d'optimiser les investissements marketing en temps réel. J'ai quelques idées là dessus, mais je ne peux pas en parler ici. Je suis en train de monter une startup sur ce sujet, et j'espère pouvoir vous en dire plus bientôt.

En attendant, si vous avez besoin d'aide pour mettre en place des tests d'incrémentalité ou si vous avez des questions sur le sujet, n'hésitez pas à me contacter. Je travaille comme consultant en datascience, data analytics et marketing measurement, et je serais ravi de discuter de vos besoins et de vous aider à tirer le meilleur parti de vos campagnes marketing.