Mesurer l’électricité consommée par l’entraînement et l’inférence IA

• Distinguer l’électricité consommée par l’entraînement et l’inférence
• Choisir des méthodes de mesure fiables pour un modèle d’IA
• Interpréter les résultats pour orienter les décisions de sobriété

Data scientists, ingénieurs IA, ML engineers, responsables RSE

Connaître le principe d’entraînement des modèles d’IA

• Définir l’entraînement et l’inférence d’un modèle d’IA
• Comprendre les sources de consommation électrique de chaque phase
• Identifier le matériel et l’infrastructure qui consomment le plus
• Choisir les périmètres de mesure : serveur, centre de données
• Mettre en place des outils de relevé de la consommation
• Estimer l’énergie d’une inférence rapportée à chaque requête
• Calculer la consommation cumulée d’un modèle en production
• Comparer plusieurs modèles ou configurations selon leur consommation
• Documenter les hypothèses et les limites de chaque mesure
• Présenter les résultats aux décideurs pour orienter les choix

• Choisir le périmètre de mesure de la consommation d’un modèle d’IA
• Comparer la consommation de deux configurations d’inférence
• Présenter les résultats d’une mesure de consommation à un décideur

• Modèle de fiche de mesure de la consommation d’un modèle
• Fiche repère des phases de consommation d’un modèle d’IA
• Lexique de la consommation énergétique de l’IA et de ses mesures