Nettoyage de données : des données propres, des résultats fiables
Des données mal formatées, des doublons qui faussent les statistiques, des champs vides, des formats de dates incohérents : ce sont des problèmes courants, souvent invisibles à l'œil nu, et pourtant suffisants pour compromettre une analyse, dégrader les performances d'un modèle ou produire un reporting inexact.
Le nettoyage de données (aussi appelé data cleaning ou data cleansing) est l'opération qui consiste à détecter, corriger et éliminer ces erreurs en amont, avant qu'elles n'impactent les usages.
C’est généralement ce travail préalable qui détermine si un projet data aboutit ou non.
Nettoyage de données : définition, périmètre et ce qui le distingue
Le nettoyage de données est le processus de détection et de correction des erreurs, incohérences et anomalies présentes dans un jeu de données. L’objectif est de rendre ce dernier fiable, cohérent et exploitable. Il intervient généralement en amont d'un projet précis : avant de lancer un modèle de machine learning, de migrer vers un nouveau système, de fusionner deux bases de données ou de démarrer une campagne marketing sur une base clients.
C'est une intervention ponctuelle et ciblée, ce qui le distingue du Data Quality Management. Le DQM est une démarche continue de gouvernance de la qualité sur l'ensemble de l'organisation. Le nettoyage traite un problème existant. Le DQM l'empêche de se reproduire.
On le distingue aussi du Data Wrangling (ou préparation des données) qui va plus loin que le simple nettoyage : il inclut la transformation, la restructuration et l'enrichissement des données pour les rendre compatibles avec un usage analytique ou un modèle.
En pratique, les deux opérations se déroulent souvent en séquence, le nettoyage précédant le wrangling.
Les erreurs typiques qu'un projet de nettoyage data traite :
- Données manquantes : champs vides, valeurs nulles, informations non renseignées à la saisie
- Doublons : un même client enregistré deux fois, avec deux orthographes légèrement différentes
- Incohérences de format : des dates en DD/MM/YYYY dans un système et en YYYY-MM-DD dans un autre, des montants en euros et en centimes mélangés
- Valeurs aberrantes : un âge client à 200 ans, un montant de commande négatif, un code postal inexistant
- Données obsolètes : adresses qui ne correspondent plus à la réalité, contacts qui ont quitté l'entreprise, références de produits qui ne sont pas reconduits
- Erreurs de saisie : fautes de frappe, inversions de champs, données saisies dans la mauvaise colonne
À quels problèmes le nettoyage de données répond-il ?
Le nettoyage de données intervient à des moments clés du cycle de vie d'un projet, avant qu'une donnée de mauvaise qualité ne compromette une analyse, un modèle ou une décision.
Voici les quatre situations les plus fréquentes sur lesquelles interviennent les consultants Techplaces.
Avant un projet de data science ou de machine learning
Un modèle apprend à partir des données qu'on lui fournit. Si ces données contiennent des erreurs, des valeurs manquantes non traitées ou des incohérences entre variables, le modèle les intègre comme des signaux valides. Résultat : ce sont les prédictions qui en pâtissent directement. Le nettoyage de données est le prérequis incontournable de tout projet IA : c'est lui qui garantit que la matière première du modèle est saine.
En pratique : une équipe data lance un projet de scoring crédit sur un historique de 500 000 dossiers clients. En explorant les données, elle découvre que 18 % des revenus déclarés sont manquants, que les codes NAF ont changé de nomenclature en 2021 sans table de correspondance, et que 4 % des entrées sont des doublons partiels. Sans nettoyage préalable, le modèle est entraîné sur des données corrompues. Avec, il dispose d'une base cohérente sur laquelle ses prédictions sont réellement fiables.
Avant une migration ou une fusion de systèmes
Migrer vers un nouvel ERP, fusionner deux bases clients après une acquisition, consolider des données issues de plusieurs outils dans un entrepôt central : dans tous ces cas, la qualité des données source conditionne la qualité du résultat final. Migrer des données de mauvaise qualité revient à contaminer le nouveau système dès le premier jour.
Un exemple classique : une entreprise migre son CRM historique vers Salesforce. Elle découvre en phase de préparation que sa base clients contient 23 % de doublons, des champs entreprise et contact inversés sur plusieurs milliers d'entrées, et des codes pays non standardisés. Un nettoyage structuré avant la migration évite de reproduire ces erreurs dans le nouvel outil et de passer les six premiers mois à corriger des données au lieu d'utiliser le système.
Avant une campagne marketing ou une segmentation client
Une base clients mal nettoyée produit des campagnes qui ratent leur cible : emails envoyés à des adresses obsolètes, messages adressés au mauvais nom, segmentations faussées par des doublons qui gonflent artificiellement certains segments. Le nettoyage garantit que chaque contact reçoit le bon message, une seule fois, au bon endroit.
Imaginons une campagne de réactivation client. Avant le lancement, l’équipe marketing nettoie sa base de 150 000 contacts. Elle identifie 12 000 doublons, 8 000 adresses email invalides, 3 500 contacts marqués actifs alors qu'ils ont demandé à se désabonner dans un autre système. La campagne est finalement envoyée à 126 000 contacts qualifiés, avec un taux d'ouverture nettement supérieur aux campagnes précédentes, envoyées sans nettoyage préalable.
Avant un audit ou un reporting réglementaire
Dans les secteurs réglementés, les données soumises aux autorités doivent être exactes, complètes et traçables. Une erreur dans un reporting, une déclaration fiscale ou un dossier de conformité peut entraîner des sanctions. Le nettoyage de données préalable à tout exercice réglementaire est une mesure de protection élémentaire.
Les étapes d'un projet de nettoyage de données
Un projet de nettoyage de données suit une progression méthodique. Chaque étape conditionne la suivante. Un nettoyage mal cadré produit des données "propres" qui ne correspondent pas aux besoins réels de l'usage en aval.
- Audit et exploration des données : première prise de contact avec le jeu de données : volumétrie, structure, types de champs, taux de complétude, premières anomalies visibles. C'est l'étape qui révèle l'ampleur réelle du chantier et permet de prioriser les corrections en fonction de leur impact.
- Définition des règles de qualité : avant de corriger quoi que ce soit, on définit ce qu'est une "donnée valide" pour chaque champ selon les règles métier : format de date attendu, liste des valeurs autorisées, seuils d'acceptabilité pour les valeurs numériques, critères de déduplication. Sans cette étape, le nettoyage est subjectif et non reproductible.
- Traitement des valeurs manquantes : selon le contexte, les valeurs manquantes sont supprimées si elles sont marginales, imputées statistiquement (moyenne, médiane, valeur la plus fréquente), interpolées à partir des données voisines, ou enrichies via des sources externes. Le choix de la méthode dépend du volume de données manquantes et de l'usage prévu.
- Déduplication : identification et traitement des doublons, qu'ils soient complets (deux entrées identiques) ou partiels (même entité avec des variations orthographiques ou de format). La déduplication partielle est la plus complexe : elle nécessite des règles de rapprochement métier et, souvent, une validation humaine sur les cas ambigus.
- Standardisation et normalisation : harmonisation des formats (dates, codes pays, devises, unités), normalisation des chaînes de texte (majuscules, accents, espaces superflus), alignement sur des référentiels communs (codes NAF, codes postaux, identifiants sectoriels).
- Validation et contrôle qualité : vérification que les données nettoyées respectent les règles définies, tests de cohérence entre champs liés, comparaison avant/après sur un échantillon représentatif. Cette étape produit un rapport de qualité qui documente ce qui a été corrigé, ce qui reste à traiter et les règles appliquées.
- Documentation : production d'un dictionnaire de données mis à jour et d'un log des transformations effectuées. Indispensable pour la traçabilité, pour les équipes qui prendront le relais, et pour pouvoir reproduire le processus sur de nouveaux lots de données.
Questions fréquentes sur le nettoyage de données
Quelle différence entre le nettoyage de données et le Data Quality Management ?
Le nettoyage de données est une opération ponctuelle : on intervient sur un jeu de données existant avant un projet précis. Le Data Quality Management est une démarche continue qui définit des règles, surveille la qualité en permanence et la maintient dans le temps. Le nettoyage traite les symptômes, le DQM s'attaque aux causes structurelles.
Combien de temps prend un projet de nettoyage de données ?
C’est très variable ! Ça dépend du volume, de la complexité des données et du nombre de sources impliquées. Un nettoyage ciblé sur une base clients de taille moyenne peut prendre 2 à 4 semaines. Un projet plus large avec plusieurs systèmes à réconcilier, des données historiques sur plusieurs années et/ou règles métier complexes peut s'étendre sur 2 à 3 mois. L'audit initial est l'étape qui permet d'estimer correctement la charge réelle.
Faut-il nettoyer ses données avant de lancer un projet IA ?
Toujours. Un modèle de machine learning entraîné sur des données de mauvaise qualité produit des prédictions de mauvaise qualité. C'est le principe "garbage in, garbage out". Le nettoyage de données n'est pas une option en amont d'un projet IA : c'est le prérequis qui conditionne la fiabilité de tout ce qui suit.
Quelle différence entre data cleaning et data wrangling ?
Le data cleaning corrige les erreurs et incohérences d'un jeu de données. Le data wrangling va plus loin : il transforme et restructure les données pour les rendre compatibles avec un usage analytique ou un modèle. En pratique, le cleaning précède toujours le wrangling.
Peut-on automatiser le nettoyage de données ?
En partie. Les opérations répétitives et bien définies (détection de doublons, validation de formats, suppression de valeurs aberrantes selon des règles fixes) se prêtent bien à l'automatisation. En revanche, les cas ambigus (doublons partiels, valeurs manquantes à imputer, données à réconcilier entre systèmes) nécessitent souvent un jugement humain ou métier pour être traités correctement.
Nos autres expertises Data & Digital
