Fondamentaux du AI Engineering : Évaluation par diagramme et scorers de sortie

Construire des applications d'AI est simple, mais s'assurer qu'elles produisent des résultats fiables et de haute qualité de manière constante constitue un défi d'ingénierie majeur. L'évaluation systématique est la clé pour passer de prompts imprévisibles à des systèmes d'AI prêts pour la production. Dans ce cours, vous apprendrez les principes fondamentaux de l'évaluation en AI engineering, en vous concentrant sur les flux d'évaluation basés sur des diagrammes et les scorers de sortie. Vous découvrirez comment suivre les performances, configurer des cas de test rigoureux et affiner vos prompts en vous basant sur des métriques structurées et reproductibles. Ce que vous apprendrez : - Comprendre les concepts fondamentaux de l'évaluation de l'AI et pourquoi les tests systématiques sont essentiels pour les applications LLM. - Configurer des pipelines d'évaluation basés sur des diagrammes pour cartographier et tester des flux de travail AI complexes à plusieurs étapes. - Implémenter des scorers de sortie pour noter et valider automatiquement les réponses des LLM. - Concevoir des cas de test robustes qui ciblent des modes de défaillance spécifiques et des cas limites dans vos prompts. - Appliquer des modèles d'évaluation modernes, y compris le LLM-as-a-judge et la validation de sorties structurées. - Analyser les métriques d'évaluation pour apporter des améliorations guidées par les données à votre pipeline d'AI engineering. Le cours commence par la terminologie essentielle et la philosophie des tests d'AI avant de vous guider étape par étape dans l'implémentation de scorers d'évaluation personnalisés. Vous lirez des exemples pratiques et analyserez des modèles de code conçus pour rendre vos systèmes d'AI fiables et prévisibles. Ce cours est conçu pour les ingénieurs AI débutants, les développeurs logiciels et les concepteurs de prompts qui souhaitent aller au-delà des tests manuels. Aucune connaissance avancée en machine learning n'est requise. Commencez à construire des systèmes d'AI plus fiables dès aujourd'hui en maîtrisant les fondamentaux de l'évaluation moderne de l'AI.