subscription economy cover pic blog

Le marketing prédictif : une science (exacte) ?

Le marketing prédictif : une science (exacte) ?

25/09/2018
Partager :

Pour le pire et pour le meilleur, le recours à la data science est présenté aujourd’hui comme indispensable pour les entreprises qui collectent des données. Le marketing prédictif en est une des applications. Aussi attrayant qu’il soit, comment s’assurer que ce procédé puisse tenir ses promesses ? Heureusement, il existe des indicateurs standardisés permettant de mesurer son efficacité.

Ce n’est pas le nouveau règlement européen sur la protection des données (RGPD) qui viendra freiner la tendance. Les données récoltées par les entreprises sont plus que jamais précieusement conservées et utilisées à des fins stratégiques.

Le phénomène n’est pas nouveau : la récolte, le stockage et la transformation des données s’est progressivement répandu ces 20 dernières années. Appelée Business Intelligence (BI), l’automatisation de ces pratiques permet aux décideurs de prendre régulièrement le pouls de l’activité d’une entreprise grâce à l’utilisation d’indicateur clés de performance (KPI), mais aussi d’analyser et de détecter rapidement les nouvelles tendances. La BI est une aide précieuse pour choisir de manière éclairée ses orientations stratégiques et s’adapter continuellement aux nouvelles donnes du marché.

Business Intelligence
Vous n’en pouvez plus de cette image de stock ? Nous aussi. Promis on ne l’utilisera plus jamais.

La prolifération des données et la démocratisation récente des techniques de machine learning permettent de franchir un nouveau cap : il est désormais possible d’avoir à sa disposition des outils qui prédisent les comportements futurs des clients. En théorie alléchant, comment s’assurer que votre outil de “marketing prédictif” est bel et bien performant ?

Quelques applications du marketing prédictif

Le marketing prédictif est un sous-concept de la plus générale “analyse prédictive” que l’on peut définir ainsi :

L’analyse prédictive consiste en l’utilisation de données, d’algorithmes statistiques et de techniques de machine learning dans le but d’évaluer la probabilité d’occurrences d’évènements futurs, en se basant sur l’historique des données.

Ses applications dans le marketing sont nombreuses, en voici quelques unes* :

(*: Nous nous sommes volontairement limités aux usages marketing afin d’éviter que ce billet devienne aussi angoissant qu’un épisode de Black Mirror.)

Quelle différence entre une bonne et une mauvaise prédiction ?

bon chasseur mauvais chasseur

Pour bien comprendre comment se mesure la qualité d’un modèle de prédictions, il faut avant tout se familiariser avec les notions de “faux positif”, “vrai négatif”, etc. Dans le contexte d’un algorithme  visant à détecter les churners, cela se définit ainsi :

false positive tree

Pour juger de la qualité d’un algorithme de machine learning supervisé (ce qui est utilisé dans le marketing prédictif), nous pouvons nous appuyer sur 3 indicateurs :

1. Accuracy

L’indicateur dont on parle le plus ! Il nous indique le pourcentage de prédictions justes.

Accuracy  = nombre de prédictions justes / nombre total de prédictions

2. Precision

Un abonné est prédit comme churner, va-t-il réellement résilier ?
Si le score de Precision est de 80%, alors, il y a 8 chances sur 10 que cette prédiction soit juste.

A la différence de l’Accuracy, on ne s’intéresse ici qu’à la qualité des prédictions de cas positifs (les churners).

La Precision se calcule ainsi :

Precision = Vrais Positifs / (Vrais Positifs + Faux Positifs)

= abonnés correctement identifiés comme churners / (abonnés correctement identifiés comme churner + abonnés identifiés comme churners mais qui ne le sont pas)

Par exemple, 40 abonnés sont signalés comme futurs churners par l’algorithme, mais 30 le sont réellement, alors le score de Precision est de :

Precision = 30 / (30+10) = 75%

3. Recall

J’ai prédis correctement 80 churners ! Très bien, mais dans les faits, 100 personnes ont résilié leur abonnement !
Dans ce cas, le Recall est de 80%.

Le Recall indique donc la capacité à ne pas rater trop de cas positifs.

Il se calcule ainsi :

Recall = Vrais Positifs / (Vrais Positifs + Faux négatifs)

= abonnés correctement identifiés comme churners / (nombre total de churners réels)

On peut rater un churner 1000 fois mais on ne peut pas rater une fois 1000 churners…

Il n’existe pas de valeurs idéales à atteindre. Le contexte d’analyse est déterminant, notamment à quel point la population est hétérogène : dans notre cas, les proportions d’abonnés churners vs non churners.
Regarder uniquement l’Accuracy peut s’avérer extrêmement trompeur. Si une base contient en moyenne 6% d’abonnés à risque, alors nous pouvons très simplement indiquer tous les abonnés comme fidèles et obtenir une excellente Accuracy de 94% ! Mais nous aurons alors failli à notre mission principal. Dans ce cas, l’indicateur Recall sera de 0% !

Il faut également savoir positionner le curseur selon les stratégies de rétention choisies. Si l’on souhaite engager l’abonné avec des réductions de prix agressives, on préférera avoir une certaine certitude sur leur propension à se désengager, et ainsi opter sur un nombre de faux positifs faible dans son segment de campagne. On privilégie alors une Precision plus élevé, quitte à manquer quelques churners dans le lot.
A l’inverse, un message marketing moins engageant pourra se permettre d’adresser des faux positifs mais manquer moins de potentiels churners, on opte alors pour un score de Recall plus élevé.

Il existe un dernier indicateur qui traduit le juste équilibre entre ces 2 options, le “F1 Score“.

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Chez Notorious Big, nous nous engageons à atteindre au minimum des scores de Precision et Recall  de 75%. En dessus, nous ne déployons pas le modèle en production. Par ailleurs et en tout transparence, le F1 score est communiqué directement dans l’interface de notre plateforme :

perf modele notorious big
78% de F1 Score est une valeur suffisante pour pouvoir se fier au modèle de prédiction.
Partager :

Tags :