Taco Bell repense son IA vocale de drive après une commande de 18 000 gobelets d’eau
Taco Bell, qui avait déployé depuis 2023 la commande par IA vocale dans plus de 500 drive américains, a dit repenser les endroits où l’utiliser après que des vidéos d’échecs ont été vues des millions de fois. Dans un extrait, un client semble avoir fait planter le système en commandant 18 000 gobelets d’eau ; dans un autre, l’IA demandait sans cesse à un homme ce qu’il voulait boire avec son grand Mountain Dew. Dane Mathews, directeur du numérique et de la technologie, a déclaré au Wall Street Journal que le personnel serait formé à repérer quand il faut surveiller ou intervenir.
Mathews a dit que l’entreprise « apprenait beaucoup » et que les humains pouvaient être mieux placés pour prendre les commandes quand les restaurants sont bondés. Taco Bell a indiqué que deux millions de commandes avaient été traitées avec succès par l’IA vocale.
Ce qui l’aurait évité
Plafonner les quantités et vérifier la vraisemblance des commandes vocales, et transmettre automatiquement les anomalies à un membre de l’équipe.
Garde-fous
- G1 Moindre privilège Non évalué L’agent n’avait-il que les accès nécessaires à sa tâche ?
- G2 Validation humaine Non évalué Une personne a-t-elle approuvé l’étape lourde de conséquences ou irréversible ?
- G3 Isolement Non évalué L’agent était-il séparé des systèmes de production et du monde extérieur ?
- G4 Intégrité des instructions Défaillant Le système a accepté une commande-canular manifeste de 18 000 gobelets d’eau.
- G5 Véracité Non évalué A-t-il rendu compte fidèlement de ce qu’il savait et de ce qu’il a fait ?
- G6 Limites Défaillant Aucun plafond apparent sur les quantités d’articles d’une même commande.
- G7 Supervision Partiel Le personnel pouvait intervenir ; Taco Bell forme désormais ses équipes à déterminer quand intervenir.
- G8 Réversibilité Non évalué Les dégâts pouvaient-ils être réparés ?
Sources
-
“In one clip, a customer seemingly crashed the system by ordering 18,000 water cups, while in another a person got increasingly angry as the AI repeatedly asked him to add more drinks to his order.”
-
“The Journal identified what it called "trolling" of the system, when a customer requested 18,000 cups of water.”
L’indice de confiance de 80 % provient de ces seules sources. Notre méthode
Historique
- 14 oct. 2026Ajouté au registre avec 2 sources