Le chatbot MyCity de New York conseille aux chefs d’entreprise d’enfreindre la loi
The Markup a constaté que le chatbot d’IA de la ville de New York destiné aux chefs d’entreprise, annoncé en octobre 2023, donnait des réponses qui conduiraient les utilisateurs à enfreindre la loi, par exemple que les propriétaires n’ont pas à accepter les locataires bénéficiant d’aides au logement ou que les employeurs peuvent prélever une part des pourboires de leurs employés. Le maire Eric Adams a maintenu le robot en ligne tout en reconnaissant que ses réponses étaient « fausses dans certains domaines ». La ville l’a retiré en février 2026 après que le maire Zohran Mamdani l’a jugé « inutilisable en pratique ».
Le robot a aussi affirmé que des restaurants pouvaient refuser les espèces malgré une loi municipale de 2020 obligeant les commerces à les accepter, et ses réponses variaient selon les utilisateurs posant la même question. Des tests de l’AP ont montré qu’il suggérait à tort que des employeurs pouvaient licencier des salariés qui se plaignent de harcèlement sexuel. Mamdani a déclaré que le robot coûtait environ un demi-million de dollars.
Ce qui l’aurait évité
Tester un chatbot de conseil gouvernemental au regard des textes de loi réels avant son lancement et le retirer dès qu’il est démontré qu’il donne des conseils illégaux.
Garde-fous
- G1 Moindre privilège Non évalué L’agent n’avait-il que les accès nécessaires à sa tâche ?
- G2 Validation humaine Non évalué Une personne a-t-elle approuvé l’étape lourde de conséquences ou irréversible ?
- G3 Isolement Non évalué L’agent était-il séparé des systèmes de production et du monde extérieur ?
- G4 Intégrité des instructions Non évalué A-t-il refusé les instructions qu’il n’aurait pas dû suivre ?
- G5 Véracité Défaillant A donné avec assurance des conseils juridiques erronés sur le logement, les pourboires et l’acceptation des espèces.
- G6 Limites Non évalué Un plafond limitait-il le rythme, les dépenses, le volume ou l’ampleur ?
- G7 Supervision Partiel Les erreurs ont été trouvées par des journalistes ; la ville a maintenu le robot en ligne avec des avertissements jusqu’en 2026.
- G8 Réversibilité Partiel Le robot a fini par être retiré ; on ignore si quelqu’un a suivi ses conseils.
Sources
-
“Months later, that chatbot is telling businesses to break the law.”
-
“Mayor Eric Adams defended the decision this week even as he acknowledged the chatbot’s answers were “wrong in some areas.””
-
“Update (Feb. 4, 2026): The city has taken down the chatbot, writing on the bot’s web page that its “beta test has ended” and directing visitors to NYC.gov for government information.”
L’indice de confiance de 80 % provient de ces seules sources. Notre méthode
Historique
- 14 oct. 2026Ajouté au registre avec 3 sources