Giskard est une startup française travaillant sur un framework de test open source pour les grands modèles de langage. Il peut alerter les développeurs des risques de biais, de failles de sécurité et de la capacité d'un modèle à générer du contenu nuisible ou toxique.
Bien qu'il y ait beaucoup de battage médiatique autour des modèles d'IA, les systèmes de test ML deviendront également rapidement un sujet brûlant alors que la réglementation est sur le point d'être appliquée dans l'UE avec la loi sur l'IA, et dans d'autres pays. Les entreprises qui développent des modèles d’IA devront prouver qu’elles respectent un ensemble de règles et atténuent les risques afin de ne pas avoir à payer de lourdes amendes.
Giskard est une startup d'IA qui adopte la réglementation et l'un des premiers exemples d'un outil de développement spécifiquement axé sur les tests de manière plus efficace.
Les développeurs peuvent ensuite intégrer les tests dans le pipeline d'intégration et de livraison continues (CI/CD) afin que les tests soient exécutés à chaque fois qu'il y a une nouvelle itération sur la base de code. En cas de problème, les développeurs reçoivent par exemple un rapport d'analyse dans leur référentiel GitHub.
Les tests sont personnalisés en fonction du cas d'utilisation final du modèle. Les entreprises travaillant sur RAG peuvent donner accès à des bases de données vectorielles et à des référentiels de connaissances à Giskard afin que la suite de tests soit la plus pertinente possible. Par exemple, si vous créez un chatbot capable de vous donner des informations sur le changement climatique sur la base du rapport le plus récent du GIEC et en utilisant un LLM d'OpenAI, les tests de Giskard vérifieront si le modèle peut générer des informations erronées sur le changement climatique, se contredit. , etc.
Crédits images : Giskard
