Le feature engineering, ou ingénierie des caractéristiques, est une étape cruciale dans le cycle de vie d’un projet de Machine Learning. Elle consiste à transformer des données brutes en caractéristiques pertinentes pour améliorer la capacité d’un modèle à apprendre et à produire des prédictions fiables.
Un travail efficace sur les features peut souvent avoir plus d’impact sur la performance du modèle que le choix de l’algorithme.
Le principal objectif du feature engineering est de maximiser la qualité des données d’entrée pour le modèle. Cela passe par plusieurs aspects :
Extraire l’information utile : Identifier quelles données contiennent un signal pertinent pour résoudre le problème.
Réduire le bruit : Supprimer ou corriger les valeurs erronées ou peu significatives.
Standardiser et normaliser : Harmoniser les échelles pour que le modèle ne soit pas biaisé par des valeurs extrêmes.
Créer de nouvelles variables : Générer des features plus représentatives à partir des données existantes, facilitant la détection de motifs complexes.
Avant toute transformation, il est essentiel d’analyser les données. Cela inclut des statistiques descriptives, des visualisations et l’identification des valeurs manquantes ou aberrantes.
Exemple concret : Pour un projet de prédiction de défauts sur des machines industrielles, on peut visualiser les distributions de température et pression pour identifier des anomalies ou des capteurs défectueux.
Le pré-traitement prépare les données pour le modèle. Il inclut notamment :
Imputation des valeurs manquantes : remplacer les données absentes par la moyenne ou une valeur spécifique.
Codage des variables catégorielles : convertir des catégories comme "couleur de produit" en représentations numériques (One-Hot Encoding).
Normalisation ou standardisation : mettre les données sur une même échelle pour faciliter l’apprentissage.
Exemple concret : Dans un dataset de transactions bancaires, les types de transactions (“virement”, “paiement”, “retrait”) sont codés en valeurs numériques pour être utilisées par un modèle.
Cette étape consiste à générer des variables dérivées ou synthétiques pour mieux représenter la relation entre les données et la cible.
Combinaisons de variables : par exemple, créer un ratio entre le montant dépensé et le revenu pour détecter des comportements inhabituels.
Transformation mathématique : appliquer un logarithme sur des montants financiers pour réduire la variance.
Extraction temporelle ou géographique : extraire le jour de la semaine ou le mois d’un timestamp, ou calculer la distance entre deux points GPS.
Encodage de texte ou de données non structurées : transformer des commentaires clients en scores de sentiment ou en embeddings vectoriels.
Exemple concret : Pour un modèle prédictif de ventes, créer une feature “tendance saisonnière” en combinant les mois et le type de produit pour capturer les variations saisonnières.
Toutes les features générées ne sont pas nécessairement utiles. La sélection de caractéristiques vise à identifier celles qui contribuent réellement à la performance du modèle.
Méthodes possibles :
Analyse de corrélation pour supprimer les variables fortement redondantes.
Importance des features via des modèles d’arbre comme Random Forest.
Réduction de dimensionnalité par techniques comme PCA.
Exemple concret : Dans un projet de scoring de crédit, la corrélation entre le revenu et le montant du prêt peut montrer qu’une seule de ces features est suffisante pour le modèle.
Une fois les features préparées et sélectionnées, il est essentiel de tester leur impact sur le modèle. On compare les métriques de performance (précision, rappel, F1-score, RMSE) avec et sans certaines features pour confirmer leur utilité.
Exemple concret : Tester l’ajout d’une feature “historique des achats en ligne des 30 derniers jours” pour un modèle de recommandation et vérifier si le score F1 s’améliore.
Il est important de respecter certaines règles pour garantir la qualité et la reproductibilité :
Documenter toutes les transformations pour assurer la traçabilité et faciliter le déploiement.
Veiller à la production : les features doivent être calculables en temps réel ou par batch lors du déploiement.
Éviter le leakage : ne pas utiliser d’informations issues du futur ou de la variable cible.
Itérer en continu : ajuster et créer de nouvelles features lorsque de nouvelles données sont disponibles.
Le feature engineering est un facteur déterminant pour la réussite d’un projet de Machine Learning. Il transforme des données brutes en informations exploitables, améliore la précision des modèles et réduit le risque de surapprentissage.
Une compréhension approfondie des données, associée à des transformations pertinentes, permet de construire des modèles robustes et fiables dans divers domaines, qu’il s’agisse de finance, de santé, de commerce ou d’industries techniques.
--
Ce billet de blog fait partie du cours AWS AI Practitioner en français disponible sur Udemy et sur la plateforme LeCloudFacile.com.