ISTQB - Tester les systèmes d'intelligence artificielle - Avec certification

Objectif : Assimiler les concepts fondamentaux de l'IA et auditer la qualité des données d'entraînement.

• Définitions de l'IA, du Machine Learning, du Deep Learning et cycle CRISP-DM.
• Différences entre systèmes déterministes traditionnels et systèmes probabilistes basés sur l'IA.
• L'importance de la qualité des données (complétude, validité, représentativité).
• Identification et catégorisation des biais dans les jeux de données.

Atelier pratique : Exploration statistique d'un jeu de données brut pour cartographier les valeurs manquantes et les biais cachés.

Cas métier : Audit d'un pipeline de données RH (recrutement automatique) : repérage et élimination des biais discriminatoires de genre et d'âge.

Compétence acquise : Être capable d'évaluer la testabilité et la qualité de la donnée d'entrée d'un système d'IA.

Livrable : Rapport d'audit de qualité des données et matrice de risques associés.

Objectif : Interpréter, évaluer et valider la performance fonctionnelle d'un modèle d'IA.

• Compréhension de la Matrice de Confusion : Vrais Positifs, Faux Positifs, Vrais Négatifs, Faux Négatifs.
• Analyse des métriques métiers : Précision, Rappel (Recall), F1-Score et Exactitude (Accuracy).
• Interprétation des courbes ROC et de la valeur AUC.
• Les phénomènes de sous-apprentissage (underfitting) et sur-apprentissage (overfitting).

Atelier pratique : Calcul, génération graphique et interprétation de matrices de confusion sur plusieurs itérations d'un modèle.

Cas métier : L'Audit du Modèle de Classification - (Partie 1) : Évaluation des performances d'un modèle prédictif d'octroi de crédit bancaire et arbitrage de la sensibilité du modèle.

Compétence acquise : Savoir auditer mathématiquement l'efficacité prédictive d'un système de Machine Learning.

Livrable : Tableau de bord de performance de l'IA validé par rapport aux exigences métiers.

Objectif : Concevoir et exécuter des tests d'IA en contournant le problème de l'oracle de test par l'approche métamorphique.

• Le problème de l'oracle de test appliqué à l'IA : pourquoi les assertions traditionnelles échouent.
• Principes et définitions du test métamorphique (Metamorphic Testing).
• Identification et rédaction de relations métamorphiques (MR) logiques et physiques.
• Automatisation et exécution d'une suite de tests métamorphiques.

Atelier pratique : Rédaction de scénarios métamorphiques sur un algorithme de calcul d'itinéraire ou de tarification dynamique.

Cas métier : Le Déploiement Métamorphique - Validation fonctionnelle d'un moteur de recommandation e-commerce complexe à travers l'injection de transformations d'utilisateurs miroirs.

Compétence acquise : Savoir tester efficacement une application sans oracle de test connu ou documenté.

Livrable : Spécification de tests métamorphiques et scripts d'exécution automatisés.

Objectif : Évaluer la tolérance aux pannes des modèles d'IA face à des perturbations de données et des attaques cyber-antagonistes.

• Définition de la robustesse d'un système d'IA face aux bruits environnementaux (data drift, concept drift).
• Introduction aux attaques contradictoires (Adversarial Attacks) : pixel flipping, attaques par empoisonnement.
• Concepts de sécurité et d'éthique applicatifs (Explainable AI - XAI, transparence des algorithmes).
• Utilisation d'outils d'évaluation de la robustesse des modèles de vision ou de texte.

Atelier pratique : Manipulation d'outils de perturbation pour tenter de tromper un classifieur d'images ou un analyseur de texte.

Cas métier : L'Ingénierie Antagoniste & Robustesse - Test de sécurité sur un système de lecture automatisée de chèques d'entreprise face à des injections de micro-bruits graphiques frauduleux.

Compétence acquise : Savoir éprouver la sécurité et la résilience d'un modèle d'IA face à des conditions extrêmes ou malveillantes.

Livrable : Rapport de vulnérabilités antagonistes et recommandations de durcissement du modèle.

Objectif : Appréhender les spécificités de test des systèmes d'IA connectés au monde physique (IoT, robotique, véhicules autonomes) et l'intégration MLOps.

• Défis inhérents au test de systèmes cyber-physiques basés sur l'IA (environnements virtuels vs réels).
• Utilisation des simulateurs et des jumeaux numériques (Digital Twins) pour les tests d'IA.
• Introduction aux tests de pipelines MLOps (automatisation du réapprentissage, monitoring en production).
• Suivi des dérives de modèles (Model Drift) et alertes qualité en production.

Atelier pratique : Configuration d'indicateurs de monitoring pour détecter la perte de précision d'un modèle déployé sur une API.

Cas métier : Stratégie de test d'une flotte de chariots élévateurs autonomes en entrepôt logistique connectés à une IA de routage centralisée.

Compétence acquise : Être capable d'intégrer les tests d'IA dans un cycle de livraison continue et de monitoring de production.

Livrable : Architecture cible de pipeline de test de non-régression MLOps.

Objectif : Évaluer l'explicabilité, la maintenabilité et la conformité juridique des systèmes d'IA (AI Act).

• L'explicabilité (XAI) : méthodes SHAP et LIME pour comprendre les décisions de l'IA.
• Test des critères d'utilisabilité, d'efficience énergétique et de performance computationnelle.
• Cadres réglementaires mondiaux et Européens (EU AI Act) : classification des risques des systèmes d'IA.
• Responsabilités et obligations de conformité pour les ingénieurs QA.

Atelier pratique : Audit de conformité réglementaire macro d'une application d'IA par rapport à la grille de l'EU AI Act.

Cas métier : Validation non-fonctionnelle d'une IA médicale d'aide au diagnostic : génération de rapports d'explicabilité pour les praticiens.

Compétence acquise : Savoir aligner le livrable technologique d'IA avec les standards d'explicabilité et les exigences réglementaires strictes.

Livrable : Grille d'évaluation de conformité légale et éthique de l'IA.

Objectif : Consolider l'intégralité du syllabus officiel ISTQB AI Testing et maîtriser la structure des questions de certification.

• Synthèse croisée des grands chapitres du syllabus officiel.
• Analyse approfondie des pièges sémantiques récurrents et des distracteurs de l'examen.
• Passage d'un premier examen blanc complet officiel dans les conditions réelles de temps.
• Débriefing individualisé et correction argumentée, question par question, axée sur les concepts clés.

Atelier pratique : Session d'examen blanc minutée de 40 questions avec corrigé analytique détaillé.

Cas métier : Analyse rétrospective d'échecs types de certification et audit de cas d'usage réels d'IA pour valider les réflexes d'arbitrage sous contrainte de temps.

Compétence acquise : Être prêt à aborder avec sérénité et méthode l'examen de certification internationale.

Livrable : Radar de compétences de l'apprenant mis en évidence par rapport aux exigences de l'examen.

Objectif : Passer l'examen officiel de certification ISTQB en conditions réelles.

• Session flash « Questions/Réponses » sur les derniers points d'ombre ou de doute des participants.
• Revue finale des définitions clés du glossaire officiel (relations métamorphiques, oracle, biais, dérive).
• Passage officiel de l'examen de certification ISTQB® Certified Tester AI Testing.

Atelier pratique : Examen officiel final surveillé.

Cas métier : Audit de conformité et arbitrage qualité sur un système d'IA critique d'entreprise - Résolution autonome d'un cas de synthèse d'évaluation d'un modèle d'IA (détection de biais, validation de la robustesse adversarielle, choix d'oracles de tests et conformité EU AI Act), suivie de l'analyse critique des pièges sémantiques et méthodologiques du syllabus officiel ISTQB AI Testing.

Compétence acquise : Validation officielle des compétences mondiales d'ingénierie de test pour l'intelligence artificielle.

Livrable : Feuille de résultats officielle et obtention du diplôme de certification en cas de réussite.