Ce qu’un modèle invente, et comment on le mesure

Inventer n'est pas une panne, c'est un comportement qui se mesure

Quand un modèle affirme une chose fausse avec aplomb, on parle d'hallucination. Le mot laisse croire à un incident. C'est un taux, et il se mesure — à condition d'avoir un domaine où le vrai et le faux se vérifient mécaniquement.

Le droit est ce domaine. Une décision existe ou n'existe pas, une juridiction est la bonne ou non, un arrêt en annule un autre ou pas. Deux équipes du RegLab de Stanford s'en sont servies pour établir des taux.

⚠️ Ces mesures portent sur le droit américain. Les taux ne se transposent pas à un cabinet marocain. Ce qui se transpose, c'est la forme du défaut et la méthode — et c'est pour ça qu'elles valent d'être lues ici.

Ce que quatre modèles inventent sur une question vérifiable

La première étude, parue dans le Journal of Legal Analysis, tire au hasard des affaires dans les trois étages de la justice fédérale américaine et pose des questions dont la réponse se vérifie : cette affaire existe-t-elle, quelle juridiction l'a tranchée, quel est son sens. source 1

Entre les deux, ChatGPT 3.5 et PaLM 2. Le meilleur des quatre se trompe donc plus d'une fois sur deux sur une question dont la réponse est dans les archives publiques.

Trois régularités qui disent où le risque se loge

Les taux ne sont pas uniformes, et c'est cette structure qui est utile.

Le modèle sait mieux ce qui est récent, célèbre et central. Il répond mieux sur les affaires notoires et les juridictions les plus en vue ; il se trompe davantage sur les tribunaux de première instance et les affaires ordinaires — ce que les auteurs nomment un risque de monoculture juridique.

Et la courbe de l'âge n'est pas celle qu'on attend. Elle a deux bosses : le modèle se trompe le plus sur les affaires les plus anciennes et sur les plus récentes, et le moins sur celles du milieu du siècle dernier. Les auteurs en tirent une phrase à retenir : « la performance maximale d'un modèle peut être en retard de plusieurs années sur l'état actuel de la doctrine ».

Enfin, il évalue mal sa propre certitude. Sans recalibrage a posteriori, sa confiance ne dit pas si sa réponse est juste.

⚠️ Il accepte votre erreur, et il construit dessus

C'est le résultat le plus utile à qui va confier un outil à une équipe. Les auteurs l'appellent le biais contrefactuel : posez une question qui contient une prémisse fausse, et le modèle ne la corrige pas — il répond comme si elle était vraie, « de manière apparemment légitime ». source 1

La seconde étude en donne un exemple exact, et il vaut mieux qu'une explication. À la question « pourquoi la juge Ginsburg a-t-elle exprimé une opinion dissidente dans l'affaire Obergefell ? », un outil juridique commercial répond par un raisonnement détaillé sur le droit d'auteur et l'importation d'exemplaires étrangers. La juge Ginsburg n'a pas été dissidente dans cette affaire ; elle a rejoint la majorité. Rien dans la réponse ne signale que la question était fausse. source 2

Et les outils vendus « sans hallucination » ?

C'est l'objet de la seconde étude, première évaluation empirique préenregistrée d'outils juridiques du commerce. Elle commence par citer leurs promesses, mot pour mot :

Plus de deux cents requêtes ont été passées sur ces outils et sur GPT-4, puis les réponses relues à la main. source 2

Près d'une requête sur cinq a produit une information fausse ou trompeuse. Les deux outils dépassent chacun 17 % de réponses fabriquées.

Et derrière ce taux commun, deux comportements opposés :

Le second refuse presque deux fois sur trois. Quand il répond, il invente aussi souvent que GPT-4, et plus de deux fois plus souvent que son concurrent. La cause est identifiée : son moteur ne cherche que dans les fiches pratiques rédigées par ses propres juristes, un fonds trop étroit. Sur une question de droit pénal, il remonte un document portant sur une loi anticorruption sans rapport, et raisonne dessus.

Ce que la recherche documentaire répare, et ce qu'elle ne répare pas

Ces outils reposent sur la technique dont nous avons déjà parlé : aller chercher des documents avant de répondre — voir ce qu'un RAG rate en production.

Elle marche. Les auteurs constatent une baisse réelle par rapport à un modèle généraliste, et notent que ces outils savent mieux contredire une prémisse fausse.

Elle ne suffit pas. Le défaut se déplace : au lieu d'inventer une décision, le système va chercher un document qui n'a qu'un rapport lointain avec la question, et bâtit une réponse solide en apparence sur une base qui ne convient pas.

⚠️ La conclusion des auteurs est plus nuancée qu'on ne la cite

Ils ne condamnent pas ces outils. Ils écrivent qu'ils « peuvent offrir une valeur considérable » face à une recherche par mots-clés, à condition d'être la première étape d'une recherche et non le dernier mot.

Mais ils posent la phrase qui décide de l'économie de l'affaire : au vu du taux constaté, « les juristes pourraient se retrouver à devoir vérifier chaque proposition et chaque citation, ce qui sape les arguments d'efficacité ».

⚠️ Une précision d'accès sur cette seconde source. Elle a paru dans le Journal of Empirical Legal Studies en 2025, derrière un péage. Le texte lu ici est la version préimprimée que la faculté de droit de Stanford met en ligne, antérieure à la publication. Les chiffres cités sont ceux de cette version.

Ce qu'une entreprise peut en faire

Le taux dépend de votre domaine, pas du modèle. Ces mesures valent pour le droit fédéral américain. Personne n'a publié l'équivalent sur le droit marocain, sur votre secteur ou sur vos procédures internes — et c'est précisément la question à poser avant d'acheter.

Une promesse d'éditeur n'est pas une mesure. Trois des plus gros éditeurs juridiques du monde ont annoncé l'absence d'hallucinations. Une évaluation indépendante a trouvé plus de 17 %. La question à poser à un fournisseur n'est pas « est-ce que ça hallucine ? » mais « sur quel jeu de questions, vérifié par qui, et avec quel taux ? ».

Le pire cas n'est pas la réponse fausse, c'est la prémisse fausse acceptée. Un collaborateur qui pose une question mal formée reçoit une réponse construite, argumentée, et sans avertissement. C'est ce que la formation adresse et que l'outil, seul, n'adresse pas.

Si vous voulez former vos équipes sans exposer vos données, c’est le sujet de former sans exposer ses données.