Une IA valide par erreur une offre de rachat à 16 000 euros chez BMW

L'affaire fait grand bruit dans l'écosystème de la relation client. Au Canada, un concessionnaire BMW a dû honorer une offre de rachat de véhicule de plus de 16 000 euros, envoyée par erreur par son agent conversationnel basé sur une intelligence artificielle.Et au-delà du fait divers, cette bévue peut nous enseigner trois leçons pour les professionnels qui déploient l'intelligence artificielle.Considérez vos agents d'IA comme des employés comme les autresLe premier point est d'ordre juridique. Considérez désormais vos agents virtuels comme des employés numériques à part entière. Et cela implique donc le contrôle et la supervision. L'époque où l'entreprise pouvait plaider le simple bug informatique est bien révolue.La jurisprudence s'installe fermement, à l'image de la condamnation de la compagnie aérienne d'Air Canada en 2024, obligée d'indemniser un passager induit en erreur par son chatbot.Concrètement, les tribunaux sont amené à jugé qu'une entreprise est pleinement responsable des informations et des engagements contractuels générés par ses outils, qu'ils proviennent d'une page statique d'un site web, ou d'une IA générative.Donc si votre robot d'IA formule une proposition, le droit considère que l'engagement est contraignant.L'IA pour réduire les coûts de support ?Le deuxième levier concerne l'analyse de risques de l'IA face au mirage du ROI.Beaucoup de dirigeants voient l'IA comme un moyen magique de réduire les coûts de support.IBM par exemple assure un gain d'économie de l'ordre de 30 % pour les entreprises qui utilisent des agents d'IA pour leur relation client. Et selon l'entreprise Apizee, les agents IA dans la relation client peuvent traiter jusqu’à 80 % des interactions.Mais attention à la facture cachée. En voulant économiser sur l'humain, BMW ici a proposé par erreur une offre surévaluée de plus de 4000 euros.Certes, le concessionnaire a voulu faire machine arrière, mais il a fini par céder pour sauver son image. Car le risque réputationnel est colossal.Une marque met des années à se construire et se détruit en quelques clics. Bref, si vous récoltez les bénéfices de l'automatisation, vous devez en assumer les risques.Une mauvaise interprétation des donnéesEnfin, le troisième pilier touche à la gouvernance. L'erreur de BMW provient d'une mauvaise interprétation des données.Le robot a confondu le solde restant du prêt du client avec la valeur réelle de la voiture. Et la réponse à ce problème n'est pas technique, elle est organisationnelle.Il faut impérativement repenser la place de l'humain dans la boucle de décision.Suite à cet incident, BMW a retiré tout pouvoir de négociation à son IA, la cantonnant à un rôle de simple relais. Pour vos projets donc, la règle est claire : l'IA qualifie et oriente, mais la validation financière doit rester l'apanage exclusif de vos experts humains.Le ZD Tech est sur toutes les plateformes de podcast ! Abonnez-vous !Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.