Benchmark des Plateformes de Gestion de la…
Améliorez la gestion de la qualité des données grâce à l’IA
Smart Data Quality : l'émergence d'une solution d'intelligence artificielle pour une meilleure qualité des données.
Aujourd’hui plus que jamais les entreprises cherchent à valoriser les importantes quantités de données qu’elles collectent sur leurs clients, leurs fournisseurs, leur marché etc. Néanmoins la plupart d’entre-elles se heurte à la mauvaise qualité de ces données, laquelle représente un manque à gagner pouvant aller jusqu’à 20% de leur chiffre d’affaires.
La qualité des données est en effet cruciale pour mener à bien tous les traitements et analyses de données pertinents, car une mauvaise qualité peuvent entraver le bon déroulement de certains processus opérationnels : facturation erronée, campagnes marketing polluées, interventions infructueuses sur le terrain, indicateurs de performance biaisés ou même compréhension déformée du marché.
À la lumière de ce constat, notre équipe Data Science a développé une solution d'intelligence artificielle (IA) conçue pour :
- Rendre les traitements de la qualité des données automatisés, rapides et efficaces grâce aux modèles d'apprentissage automatique
- Placer les experts fonctionnels, principaux utilisateurs des données, au cœur du traitement afin de garantir sa pertinence dans un contexte spécifique
Chaque module de l'application s'appuie sur les annotations et l'expertise des utilisateurs pour personnaliser les principaux algorithmes. Permettre à nos algorithmes de s'adapter à chaque contexte les rend efficaces et leur permet de correspondre parfaitement aux besoins spécifiques de l'entreprise.
L'application Smart Data Quality fait partie de la stratégie de consultant augmenté de Sia Partners et ouvre donc la voie à l'avenir du conseil, où les consultants combinent leur expertise à l'utilisation de l'intelligence artificielle (IA). Grâce à cette combinaison, l'application est capable de créer automatiquement des algorithmes pertinents pour un meilleur contrôle de la qualité des données.
Les champs d'application de Smart Data Quality
Grâce à son approche agnostique, Smart Data Quality peut s'attaquer à de nombreux problèmes dans divers domaines. L'application permet de traiter différentes tâches de qualité des données grâce aux principales fonctionnalités suivantes :
- Diagnostic de la qualité des données : la solution recueille les annotations des utilisateurs pour établir un diagnostic exhaustif de la qualité des données au sein de vos systèmes. Par exemple, les annotations des utilisateurs pourraient permettre à l'algorithme d'apprendre à reconnaître efficacement les fautes de frappe et les erreurs sémantiques dans les adresses des clients.
- Déduplication des données : sur la base des annotations des utilisateurs et des algorithmes de pointe en matière de correspondance floue, la solution crée un outil de déduplication efficace qui comprend la définition d'un doublon dans un contexte spécifique
- Enrichissement des données : toujours basée sur les choix des utilisateurs, la solution perçoit comment enrichir tout ensemble de données avec des données externes ouvertes, comme la base SIREN en France par exemple, ainsi que comment réconcilier des données provenant de différentes sources au sein de l'entreprise
- Smart Completion : la solution apprend par elle-même les corrélations entre les caractéristiques afin de compléter vos données manquantes en utilisant des algorithmes d'extrapolation et d'IA
Il s'agit donc d'un outil qui automatise et accélère les traitements de qualité des données tout en les rendant plus pertinents par rapport à votre activité.
Un premier business use case : CRM pour une grande entreprise du secteur de l’eau
Sia Partners aide depuis longtemps les entreprises à mieux comprendre leurs clients et a donc une connaissance approfondie de leurs besoins concernant ce besoin stratégique. En particulier en ce qui concerne la gestion de la relation client (CRM) et la déduplication des données.
La mise en œuvre d'outils de CRM de plus en plus perfectionnés gagne du terrain dans de nombreuses entreprises afin de tirer parti de la grande quantité de données collectée sur les clients. La connaissance des clients devient plus détaillée, ce qui réduit le temps de traitement des demandes et améliore la satisfaction des consommateurs. Néanmoins, tout cela implique plusieurs niveaux de traitement afin de garantir une haute qualité des données.
En effet, les bases de données clients sont souvent caractérisées par une forte présence de doublons due à des erreurs de frappe et/ou des erreurs techniques. Pour notre client, une grande compagnie des eaux, cette mauvaise qualité des données a entraîné les conséquences suivantes :
- Augmentation des coûts de maintenance et de stockage
- Augmentation des coûts des campagnes d'envoi de courriers électroniques et de lettres
- Détérioration de l'image de marque car les consommateurs peuvent se lasser d'être ciblés plusieurs fois par une même action
- Dispersion des données et donc de la connaissance client
La détection et la suppression des doublons était donc un défi majeur pour notre client. Cependant, le volume actuel des bases de données clients, qui comptent des millions de lignes, rend la tâche impossible à réaliser manuellement et le processus d'automatisation souffre de nombreuses contraintes techniques, sauf à utiliser l'intelligence artificielle.
Nos algorithmes basés sur l'apprentissage automatique nous ont permis de relever ce défi de manière intelligente en associant les capacités d'IA à des experts fonctionnels. Cela nous a permis de garantir des traitements pertinents au regard des données spécifiques concernées et des besoins de l’entreprise.
Pour notre client, nous avons pu détecter les doublons avec une précision de 95 %, selon les retours des experts métiers, ainsi qu’étudier leur création dans le temps afin de prendre des mesures correctives concrètes.
Un second business use case: Enrichissement des données pour deux grandes entreprises du secteur de l'énergie
Sia Partners a mené de nombreuses missions liées à l'efficacité opérationnelle. Dans ces cas, le processus spécifique d'une entreprise sur le terrain est perfectible et peut être réorganisé pour être plus efficace.
Cette situation est fréquente pour de nombreuses entreprises du secteur de l'énergie, car elles fournissent de l'électricité et/ou du gaz provenant de nombreuses sources différentes à de nombreux clients, qu'il s'agisse de particuliers ou d'entreprises. Cette multiplication des points de service d'entrée et de sortie rend nécessaire de s'appuyer sur une base de données d'adresses fiable et fréquemment mise à jour.
Néanmoins, les bases de données d'adresses contiennent généralement de nombreuses erreurs dues à des fautes de frappe ainsi qu'à l'existence de nombreuses normes différentes. En conséquence, il est difficile et long de rapprocher des données provenant de plusieurs sources internes dispersées dans les services de l'entreprise, et il est encore plus difficile de les rapprocher avec des sources externes.
Notre outil a ensuite été utilisé pour faire correspondre les adresses des clients avec les points de service officiels de gaz et d'électricité afin d'optimiser l'efficacité des interventions sur le terrain et de la livraison d'énergie. En effet, pour prioriser la maintenance sur ses raccordements au réseau, notre client souhaitait localiser les logements sociaux. Notre solution Smart Data Quality lui a permis d’enrichir ses données avec des données provenant des bailleurs sociaux, afin d'identifier ces raccordements prioritaires
La collecte et l’ajout de données externes ouvertes peuvent également conduire à une meilleure compréhension des comportements de consommation. Un autre fournisseur d'énergie souhaitait utiliser les données ouvertes françaises pour établir une segmentation efficace de la clientèle. Smart Data Quality a ainsi pu aider notre client à enrichir ses données clients avec les données ouvertes disponibles.
En conclusion
L'amélioration de la qualité des données est un défi majeur pour tirer le meilleur parti de l'activité d'une entreprise, et de plus en plus d'entreprises en prennent conscience.
Les défis de nos clients sont notre source d'inspiration et c'est pourquoi notre solution d'IA prête à l'emploi nous permet de relever efficacement ce défi en fournissant des outils répondant aux cas d'utilisation les plus fréquents et en replaçant leurs experts métier au cœur des processus.
Nous sommes convaincus que cette approche, qui combine les dernières avancées en matière de technologies d'IA avec l'expertise métier, est l'avenir de la science des données intelligente et éthique.