Comment l’IA introduit des erreurs dans les salles d’audience

Cela fait quelques semaines pour des histoires sur l’IA dans la salle d’audience. Vous avez peut-être entendu parler de la victime du défunt d’un incident de rage sur la route dont la famille a créé un Avatar AI de lui à montrer comme une déclaration d’impact (peut-être la première fois que cela a été fait aux États-Unis). Mais il y a une controverse plus importante et beaucoup plus consécutive, selon des experts juridiques. Les hallucinations de l’IA augmentent de plus en plus dans les dépôts juridiques. Et ça commence à exaspérer les juges. Considérez simplement ces trois cas, chacun donnant un aperçu de ce que nous pouvons nous attendre à voir davantage comme les avocats adoptent l’IA.

Il y a quelques semaines, un juge de Californie, Michael Wilner, est devenu intrigué par un ensemble d’arguments que certains avocats ont faits dans un dossier. Il est allé en savoir plus sur ces arguments en suivant les articles qu’ils ont cités. Mais les articles n’existaient pas. Il a demandé plus de détails au cabinet d’avocats, et ils ont répondu avec un nouveau mémoire qui contenait Encore plus d’erreurs que le premier. Wilner a ordonné aux avocats de donner des témoignages sous serment expliquant les erreurs, dans lesquelles il a appris que l’un d’eux, de la société d’élite Ellis George, a utilisé Google Gemini ainsi que des modèles d’IA spécifiques à la loi pour aider à rédiger le document, qui a généré de fausses informations. Comme détaillé dans un dépôt Le 6 mai, le juge a infligé une amende à l’entreprise de 31 000 $.

La semaine dernière, un autre juge basé en Californie a attrapé une autre hallucination dans un dossier judiciaire, cette fois soumis par la société d’IA Anthropic dans le procès que les étiquettes record ont apporté contre des questions de droit d’auteur. L’un des avocats d’Anthropic avait demandé au modèle d’IA de l’entreprise Claude de créer une citation pour un article juridique, mais Claude comprenait le mauvais titre et le mauvais auteur. L’avocat d’Anthropic a admis que l’erreur n’avait été prise par personne qui examinait le document.

Enfin, et peut-être le plus préoccupant, est un cas qui se déroule en Israël. Après que la police a arrêté une personne pour blanchiment d’argent, les procureurs israéliens ont soumis une demande demandant à un juge l’autorisation de garder le téléphone de l’individu comme preuve. Mais ils ont cité des lois qui n’existent pas, ce qui a incité l’avocat de l’accusé à les accuser d’inclure des hallucinations d’IA à leur demande. Les procureurs, selon Israël médiasa admis que c’était le cas, recevant une réprimande du juge.

Ensemble, ces cas indiquent un problème grave. Les tribunaux s’appuient sur des documents exacts et sauvegardés par des citations – deux traits que les modèles d’IA, bien qu’ils soient adoptés par des avocats désireux de gagner du temps, ne parviennent souvent pas à livrer.

Ces erreurs se font prendre (pour l’instant), mais ce n’est pas un tronçon d’imaginer qu’à un moment donné, la décision d’un juge sera influencée par quelque chose qui est totalement composé de l’IA, et personne ne l’attrapera.

J’ai parlé avec Maura Grossman, qui enseigne à la School of Computer Science de l’Université de Waterloo ainsi qu’à l’Osgoode Hall Law School, et a été un premier critique vocal des problèmes que Poses Generative AI pour les tribunaux. Elle a écrit À propos du problème en 2023, lorsque les premiers cas d’hallucinations ont commencé à apparaître. Elle a dit qu’elle pensait que les règles existantes des tribunaux obligeant les avocats à vérifier ce qu’ils soumettent aux tribunaux, combinée à la mauvaise publicité attirée par ces affaires, mettraient un terme au problème. Cela n’a pas été tourné.

Les hallucinations «ne semblent pas avoir ralenti», dit-elle. « Si quoi que ce soit, ils se sont accélérés. » Et ce ne sont pas des cas ponctuels avec des entreprises locales obscures, dit-elle. Ce sont des avocats de grande envergure qui font des erreurs importantes et embarrassantes avec l’IA. Elle craint que de telles erreurs soient également davantage dans des documents non rédigés par les avocats eux-mêmes, comme des rapports d’experts (en décembre, professeur de Stanford et expert en IA admis à inclure les erreurs générées par l’AI dans son témoignage).

J’ai dit à Grossman que je trouve tout cela un peu surprenant. Les avocats, plus que la plupart, sont obsédés par la diction. Ils choisissent leurs mots avec précision. Pourquoi tant de gens se font-ils prendre ces erreurs?

«Les avocats tombent dans deux camps», dit-elle. « Les premiers ont peur à mort et ne veulent pas du tout l’utiliser. » Mais il y a ensuite les premiers adoptants. Ce sont des avocats serrés à temps ou sans un cadre d’autres avocats pour aider à un mémoire. Ils sont impatients de la technologie qui peut les aider à rédiger des documents dans des délais serrés. Et leurs contrôles sur le travail de l’IA ne sont pas toujours approfondis.

Le fait que les avocats de grande puissance, dont la profession même est de scruter la langue, continue de se faire prendre à faire des erreurs introduites par l’IA dit quelque chose sur la façon dont la plupart d’entre nous traitent la technologie en ce moment. On nous dit à plusieurs reprises que l’IA fait des erreurs, mais les modèles de langage ressemblent également un peu à la magie. Nous avons posé une question compliquée et recevons ce qui ressemble à une réponse réfléchie et intelligente. Au fil du temps, les modèles d’IA développent un placage d’autorité. Nous leur faisons confiance.

«Nous supposons que parce que ces modèles de gros langues sont si courants, cela signifie également qu’ils sont exacts», explique Grossman. « Nous nous glissons toutes en mode de confiance car cela semble faisant autorité. » Les avocats sont habitués à vérifier les travaux des avocats et des stagiaires juniors, mais pour une raison quelconque, dit Grossman, n’appliquez pas ce scepticisme à l’IA.

Nous connaissons ce problème depuis que Chatgpt a lancé il y a près de trois ans, mais la solution recommandée n’a pas beaucoup évolué depuis: ne faites pas confiance à tout ce que vous lisez, et vérifiez ce qu’un modèle d’IA vous dit. Au fur et à mesure que les modèles d’IA sont poussés dans tant d’outils différents que nous utilisons, je trouve de plus en plus que c’est un compteur insatisfaisant à l’un des défauts les plus fondamentaux de l’IA.

Les hallucinations sont inhérentes à la façon dont les modèles de grande langue fonctionnent. Malgré cela, les entreprises vendent des outils d’IA génératifs fabriqués pour les avocats qui prétendent être exacts de manière fiable. «Soyez confiant que votre recherche est exacte et complète», lit le site Web pour Précision de Westlawet le site Web pour Coconsel promet que son IA est «soutenue par un contenu faisant autorité». Cela n’a pas empêché leur client, Ellis George, d’avoir une amende de 31 000 $.

De plus en plus, j’ai de la sympathie pour les personnes qui font plus confiance à l’IA qu’eux. Nous vivons, après tout, à une époque où les gens qui construisent cette technologie nous disent que l’IA est si puissante qu’elle devrait être traitée comme armes nucléaires. Les modèles ont appris de presque tous les mots que l’humanité ait jamais écrit et infiltre notre vie en ligne. Si les gens ne devaient pas faire confiance à tout ce que les modèles d’IA disent, ils méritent probablement de le rappeler un peu plus souvent par les entreprises qui les construisent.

Cette histoire est apparue à l’origine dans L’algorithmenotre newsletter hebdomadaire sur l’IA. Pour obtenir des histoires comme celle-ci dans votre boîte de réception en premier, Inscrivez-vous ici.

Source link