Dans la fenêtre d’impression, choisissez « Enregistrer en PDF » comme destination.
Réf. ISQ-AIA
ISTQB - Tester les systèmes d'intelligence artificielle - Avec certification
Qualité Logicielle & Tests
Durée
28 à 35 heures (4 à 5 jours) selon le format
Modalités
Présentiel, Classe à distance
Reconnaissance
Formation non certifiante (attestation de fin de formation)
Format de vente
Intra-entreprise
Délai d’accès
En moyenne 15 jours ouvrés après l’acceptation du devis
Tarif intra
Sur devis
Pourquoi suivre cette formation
Tester un système d'IA ou de Machine Learning demande d'aller au-delà des tests classiques. Cette formation certifiante vous apprend à évaluer l'équité, la robustesse, les biais et les hallucinations des modèles d'IA.
À l’issue de cette formation, les participants seront capables de
Comprendre les spécificités, les architectures et les biais propres aux systèmes d'IA
Spécifier et concevoir des stratégies de test adaptées aux modèles de Machine Learning
Utiliser des indicateurs d'évaluation des performances complexes (matrices de confusion, ROC, AUC)
Mettre en œuvre des techniques de test spécifiques (test métamorphique, tests de résistance aux attaques)
Préparer l'examen officiel de certification ISTQB® Certified Tester AI Testing
Formats proposés
ACTIONImmersion28 heures (4 jours)
IMPACTTerrain35 heures (5 jours) · dont une journée en décalé
Chaque format reprend le précédent et y ajoute des journées.
Public visé
Ingénieurs QA, automaticiens de tests, Test Leads, Data Scientists souhaitant appréhender les standards de validation logicielle, et managers techniques de projets d'IA.
Prérequis
Être titulaire de la certification officielle ISTQB Foundation. Posséder des notions fondamentales sur le cycle de vie de la donnée et l'usage des scripts (Python).
Prérequis techniques à distance
La classe virtuelle se tient sur Microsoft Teams : AMBIA fournit à chaque participant un compte pour la durée de la formation. En intra-entreprise, elle peut aussi se tenir sur l’outil que l’entreprise utilise déjà, par exemple Zoom ou Google Meet.
Le participant se connecte depuis un ordinateur équipé d’une caméra, d’un micro, d’un accès à internet et d’un navigateur à jour, dans un lieu calme. Si la formation le demande, le formateur donne accès à un poste de travail à distance, depuis le navigateur.
Pendant la formation, l’assistance technique répond à support@ambia-skills.fr.
Objectifs pédagogiques
Citer les types de caractéristiques, de biais et les vulnérabilités spécifiques propres aux systèmes d'IA.
Expliquer le fonctionnement du cycle de vie CRISP-DM et les concepts clés du Machine Learning.
Appliquer des techniques de tests métamorphiques et des stratégies de test fonctionnel sur un modèle de ML.
Analyser les données d'entraînement et de test pour y déceler des anomalies de distribution ou des surapprentissages (overfitting).
Évaluer la performance globale d'un modèle d'IA à l'aide d'une matrice de confusion et de courbes statistiques.
Concevoir une stratégie globale de test d'IA intégrant la robustesse, la sécurité, l'éthique et les performances réglementaires.
Programme détaillé
Jour 1ACTION
Matin
Introduction au Machine Learning et qualité des données
Assimiler les concepts fondamentaux de l'IA et auditer la qualité des données d'entraînement.
Définitions de l'IA, du Machine Learning, du Deep Learning et cycle CRISP-DM.
Différences entre systèmes déterministes traditionnels et systèmes probabilistes basés sur l'IA.
L'importance de la qualité des données (complétude, validité, représentativité).
Identification et catégorisation des biais dans les jeux de données.
Atelier pratique
Exploration statistique d'un jeu de données brut pour cartographier les valeurs manquantes et les biais cachés.
Cas métier
Audit d'un pipeline de données RH (recrutement automatique) : repérage et élimination des biais discriminatoires de genre et d'âge.
Compétence acquise
Être capable d'évaluer la testabilité et la qualité de la donnée d'entrée d'un système d'IA.
Livrable
Rapport d'audit de qualité des données et matrice de risques associés.
Après-midi
Indicateurs de performance et validation des modèles
Interpréter, évaluer et valider la performance fonctionnelle d'un modèle d'IA.
Compréhension de la Matrice de Confusion : Vrais Positifs, Faux Positifs, Vrais Négatifs, Faux Négatifs.
Analyse des métriques métiers : Précision, Rappel (Recall), F1-Score et Exactitude (Accuracy).
Interprétation des courbes ROC et de la valeur AUC.
Les phénomènes de sous-apprentissage (underfitting) et sur-apprentissage (overfitting).
Atelier pratique
Calcul, génération graphique et interprétation de matrices de confusion sur plusieurs itérations d'un modèle.
Cas métier
L'Audit du Modèle de Classification - (Partie 1) : Évaluation des performances d'un modèle prédictif d'octroi de crédit bancaire et arbitrage de la sensibilité du modèle.
Compétence acquise
Savoir auditer mathématiquement l'efficacité prédictive d'un système de Machine Learning.
Livrable
Tableau de bord de performance de l'IA validé par rapport aux exigences métiers.
Jour 2ACTION
Matin
Techniques de test propres à l'IA : le test métamorphique
Concevoir et exécuter des tests d'IA en contournant le problème de l'oracle de test par l'approche métamorphique.
Le problème de l'oracle de test appliqué à l'IA : pourquoi les assertions traditionnelles échouent.
Principes et définitions du test métamorphique (Metamorphic Testing).
Identification et rédaction de relations métamorphiques (MR) logiques et physiques.
Automatisation et exécution d'une suite de tests métamorphiques.
Atelier pratique
Rédaction de scénarios métamorphiques sur un algorithme de calcul d'itinéraire ou de tarification dynamique.
Cas métier
Le Déploiement Métamorphique - Validation fonctionnelle d'un moteur de recommandation e-commerce complexe à travers l'injection de transformations d'utilisateurs miroirs.
Compétence acquise
Savoir tester efficacement une application sans oracle de test connu ou documenté.
Livrable
Spécification de tests métamorphiques et scripts d'exécution automatisés.
Après-midi
Robustesse, sécurité et résistance aux attaques
Évaluer la tolérance aux pannes des modèles d'IA face à des perturbations de données et des attaques cyber-antagonistes.
Définition de la robustesse d'un système d'IA face aux bruits environnementaux (data drift, concept drift).
Introduction aux attaques contradictoires (Adversarial Attacks) : pixel flipping, attaques par empoisonnement.
Concepts de sécurité et d'éthique applicatifs (Explainable AI - XAI, transparence des algorithmes).
Utilisation d'outils d'évaluation de la robustesse des modèles de vision ou de texte.
Atelier pratique
Manipulation d'outils de perturbation pour tenter de tromper un classifieur d'images ou un analyseur de texte.
Cas métier
L'Ingénierie Antagoniste & Robustesse - Test de sécurité sur un système de lecture automatisée de chèques d'entreprise face à des injections de micro-bruits graphiques frauduleux.
Compétence acquise
Savoir éprouver la sécurité et la résilience d'un modèle d'IA face à des conditions extrêmes ou malveillantes.
Livrable
Rapport de vulnérabilités antagonistes et recommandations de durcissement du modèle.
Jour 3ACTION
Matin
Environnements, déploiement et test des systèmes cyber-physiques
Appréhender les spécificités de test des systèmes d'IA connectés au monde physique (IoT, robotique, véhicules autonomes) et l'intégration MLOps.
Défis inhérents au test de systèmes cyber-physiques basés sur l'IA (environnements virtuels vs réels).
Utilisation des simulateurs et des jumeaux numériques (Digital Twins) pour les tests d'IA.
Introduction aux tests de pipelines MLOps (automatisation du réapprentissage, monitoring en production).
Suivi des dérives de modèles (Model Drift) et alertes qualité en production.
Atelier pratique
Configuration d'indicateurs de monitoring pour détecter la perte de précision d'un modèle déployé sur une API.
Cas métier
Stratégie de test d'une flotte de chariots élévateurs autonomes en entrepôt logistique connectés à une IA de routage centralisée.
Compétence acquise
Être capable d'intégrer les tests d'IA dans un cycle de livraison continue et de monitoring de production.
Livrable
Architecture cible de pipeline de test de non-régression MLOps.
Après-midi
Caractéristiques de qualité non fonctionnelles et réglementation
Évaluer l'explicabilité, la maintenabilité et la conformité juridique des systèmes d'IA (AI Act).
L'explicabilité (XAI) : méthodes SHAP et LIME pour comprendre les décisions de l'IA.
Test des critères d'utilisabilité, d'efficience énergétique et de performance computationnelle.
Cadres réglementaires mondiaux et Européens (EU AI Act) : classification des risques des systèmes d'IA.
Responsabilités et obligations de conformité pour les ingénieurs QA.
Atelier pratique
Audit de conformité réglementaire macro d'une application d'IA par rapport à la grille de l'EU AI Act.
Cas métier
Validation non-fonctionnelle d'une IA médicale d'aide au diagnostic : génération de rapports d'explicabilité pour les praticiens.
Compétence acquise
Savoir aligner le livrable technologique d'IA avec les standards d'explicabilité et les exigences réglementaires strictes.
Livrable
Grille d'évaluation de conformité légale et éthique de l'IA.
Jour 4ACTION
Matin
Synthèse et examens blancs
Consolider l'intégralité du syllabus officiel ISTQB AI Testing et maîtriser la structure des questions de certification.
Synthèse croisée des grands chapitres du syllabus officiel.
Analyse approfondie des pièges sémantiques récurrents et des distracteurs de l'examen.
Passage d'un premier examen blanc complet officiel dans les conditions réelles de temps.
Débriefing individualisé et correction argumentée, question par question, axée sur les concepts clés.
Atelier pratique
Session d'examen blanc minutée de 40 questions avec corrigé analytique détaillé.
Cas métier
Analyse rétrospective d'échecs types de certification et audit de cas d'usage réels d'IA pour valider les réflexes d'arbitrage sous contrainte de temps.
Compétence acquise
Être prêt à aborder avec sérénité et méthode l'examen de certification internationale.
Livrable
Radar de compétences de l'apprenant mis en évidence par rapport aux exigences de l'examen.
Après-midi
Révisions finales et passage de l'examen officiel ISTQB
Passer l'examen officiel de certification ISTQB en conditions réelles.
Session flash « Questions/Réponses » sur les derniers points d'ombre ou de doute des participants.
Revue finale des définitions clés du glossaire officiel (relations métamorphiques, oracle, biais, dérive).
Passage officiel de l'examen de certification ISTQB® Certified Tester AI Testing.
Atelier pratique
Examen officiel final surveillé.
Cas métier
Audit de conformité et arbitrage qualité sur un système d'IA critique d'entreprise - Résolution autonome d'un cas de synthèse d'évaluation d'un modèle d'IA (détection de biais, validation de la robustesse adversarielle, choix d'oracles de tests et conformité EU AI Act), suivie de l'analyse critique des pièges sémantiques et méthodologiques du syllabus officiel ISTQB AI Testing.
Compétence acquise
Validation officielle des compétences mondiales d'ingénierie de test pour l'intelligence artificielle.
Livrable
Feuille de résultats officielle et obtention du diplôme de certification en cas de réussite.
Jour 5 · en décaléIMPACT
Matin
Diagnostic de la qualité des données d'entraînement et des biais
Analyser le jeu de données d'apprentissage et mesurer la dérive du modèle en production.
Analyse d'un modèle d'IA de l'entreprise (prédiction de crédit, classement de documents) : représentativité des données, biais d'entraînement et dérive des données dans le temps.
Après-midi
Tests métamorphiques et résistance aux attaques
Appliquer le test métamorphique et tester la résistance du modèle aux attaques.
Contrôle de la sécurité et de l'explicabilité de l'IA de l'entreprise : cas de test métamorphiques, simulation d'injections (injection de prompts, perturbation des entrées) et rapport de conformité.
Les ateliers et cas métier de ce programme pourront être adaptés par le consultant-formateur selon les besoins, le niveau et les prérequis des participants, pour favoriser l’atteinte des objectifs pédagogiques.
Méthodes et moyens pédagogiques
Méthodes mobilisées
Pédagogie active et immersive basée sur des simulations métiers complexes. Sessions de manipulation guidée de frameworks de test d'IA (ex : Adversarial Robustness Toolbox, TextAttack), ateliers d'analyse de données, exercices d'ingénierie antagoniste et revues collectives de stratégies de test.
Moyens techniques
Un poste informatique individuel par participant, accès sécurisé aux environnements d'exécution sandbox (Notebooks Jupyter / environnements Python pré-configurés), plateformes d'examens blancs AMBIA, jeux de données bruts industriels.
Moyens humains
Formation animée par un ingénieur-consultant expert senior, consultant QA spécialisé dans les systèmes intelligents et certifié ISTQB AI Testing, apportant un retour d'expérience terrain inestimable.
Modalités d’évaluation
Évaluation diagnostique
Questionnaire technique de positionnement en amont (15 jours avant) pour valider la maîtrise des prérequis (Certification ISTQB Fondation et bases en manipulation de données).
Évaluation formative
Revues de code en direct (Notebooks Jupyter), ateliers d'architecture et de diagnostic de modèles, et évaluation des livrables de chaque cas métier tout au long des 4 jours.
Évaluation sommative
Examens blancs chronométrés avec débriefing technique et passage de l'examen officiel de certification internationale ISTQB Specialist AI Testing, complété par un Questionnaire de validation des acquis sous forme de QCM en fin de formation.
Suivi
Feuilles de présence signées par demi-journée, en présentiel comme à distance.
Attestation de fin de formation remise à chaque stagiaire, mentionnant les objectifs, la nature, la durée et les résultats de l’évaluation.
Certificat de réalisation adressé au client ou au financeur.
Questionnaire de satisfaction remis à l’issue de la formation.
Délai d’accès
Intra-entreprise : La formation débute en moyenne 15 jours ouvrés après l’acceptation du devis.
Ce délai peut être adapté selon la disponibilité des sessions, le positionnement du stagiaire et, le cas échéant, l’instruction du dossier de prise en charge par le financeur.
Accessibilité handicap
Nos parcours sont adaptables aux personnes en situation de handicap. Contactez notre référent pour l'étude des aménagements nécessaires.
Référent handicap : accessibilite@ambia-skills.fr. Aucune reconnaissance de la qualité de travailleur handicapé ni aucun justificatif médical n’est exigé.
Indicateurs de résultats
Indicateurs publiés à partir de 3 avis.
Mode de calcul : www.ambia-skills.fr/notre-approche#notes
