LangSmith évalue enfin les agents vocaux

LangSmith, plateforme d'observabilité pour workflows IA de LangChain, intègre des capacités d'évaluation spécifiques aux agents vocaux. L'outil propose trois axes : contrôle de l'exécution via traces détaillées, mesure des outcomes (tâche complétée, erreur, abandon), et analyse de l'expérience appelant (latence, clarté, frustration). La nouveauté repose sur trois mécanismes combinables : code evaluators (métriques custom), LLM judges (modèles évaluant d'autres modèles), et human review (annotation manuelle). Les traces LangSmith capturent chaque étape du dialogue, inputs utilisateur et réponses du modèle vocal, déjà supportées pour LangChain agents. L'accès reste dans LangSmith pricing standard (gratuit limité, plans payants par utilisation). Ce qui change : jusqu'ici, évaluer un agent vocal exigeait des exports manuels et scripts custom. Là, le workflow intégré économise du dev. Limite concrète : l'évaluation dépend de la qualité du jeu de test (données de départ). Un corpus d'appels faible produit des signaux faux. LangSmith ne remplace pas un audit humain sur volume réel.