Évaluer et améliorer un modèle prédictif

• Évaluer la qualité d’un modèle prédictif avec les bonnes mesures
• Diagnostiquer le surapprentissage et le sous-apprentissage
• Améliorer un modèle de façon méthodique et documentée

Data scientists, analystes, ingénieurs, chefs de projet data

Avoir déjà entraîné un modèle de machine learning simple

• Choisir une métrique adaptée au problème et au coût des erreurs
• Interpréter une matrice de confusion, la précision et le rappel
• Lire les courbes ROC et les courbes de précision et de rappel
• Mesurer l’erreur d’un modèle de régression avec plusieurs critères
• Reconnaître le surapprentissage grâce aux courbes d’apprentissage
• Gérer les classes déséquilibrées avec des méthodes de rééchantillonnage
• Éviter les fuites de données entre apprentissage et évaluation
• Améliorer les variables par des transformations pertinentes
• Optimiser les hyperparamètres et comparer les versions du modèle
• Présenter les performances de façon lisible à des décideurs

• Calculer et interpréter les métriques d’un classifieur
• Diagnostiquer un surapprentissage avec les courbes d’apprentissage
• Comparer deux versions du modèle et justifier le choix final

• Guide de choix d’une métrique selon le problème posé
• Check list de détection des fuites de données d’apprentissage
• Modèle de rapport d’évaluation d’un modèle prédictif