Là où le premier écrit s'arrêtait
Le premier écrit de ce journal portait sur l'indexation : mieux découper les documents, les enrichir de métadonnées avant de les ranger. C'est le geste qui précède tout le reste, et il se mesure en laboratoire.
Celui-ci porte sur l'autre moitié du problème — celle qui n'apparaît qu'une fois le système en service, quand l'indexation est déjà bonne. Trois travaux la documentent, et les trois ont été lus en entier.
Le document n'arrive pas jusqu'au modèle
Cinq chercheurs de l'université Deakin ont suivi trois systèmes de recherche documentaire : un assistant de revue de littérature, un tuteur pour deux cents étudiants, et un système biomédical monté sur le jeu de données BioASQ. Deux des trois tournaient réellement au moment de l'étude. Ils en tirent sept points de défaillance. source 1
Les trois premiers portent sur le même trajet, et se ressemblent assez pour qu'on les confonde :
| Le document… | Ce qui se passe |
|---|---|
| n'est pas dans le fonds | La question n'a pas de réponse. Le bon comportement est de le dire ; celui qui est observé est de répondre quand même |
| y est, mais ne remonte pas | Il est classé au-delà des premiers résultats retenus, et ce nombre est choisi pour la vitesse, pas pour la question |
| remonte, mais n'entre pas dans le contexte | Trop de documents reviennent, une étape les réduit avant l'envoi au modèle, et celui qui portait la réponse tombe |
Aucune de ces trois défaillances ne se voit depuis la réponse. Le modèle reçoit un contexte et répond dessus ; rien dans ce qu'il écrit ne dit que la pièce manquait.
Les auteurs concluent sur deux points qui ne sont pas techniques : la validation d'un tel système n'est possible qu'en service, et sa robustesse s'obtient par ajustements successifs plutôt qu'elle ne se décide à la conception.
⚠️ Un détail que seul le texte complet donne : cet article annonce 15 000 documents dans son introduction et dans sa conclusion, et 4 017 dans sa section 4.3 comme dans son tableau récapitulatif. Le chiffre le plus repris de ce travail contredit le corps de l'article.
Il arrive, et sa place dans le contexte décide
Deuxième cas : le bon document est retrouvé, et il est bien dans le contexte envoyé au modèle. Une équipe de Stanford, de Berkeley et de Samaya AI a mesuré ce qu'il advient selon l'endroit où on le pose. source 2
Le résultat est une courbe en U : la réponse est bonne quand la pièce utile est au début ou à la fin du contexte, et elle se dégrade au milieu.
| Ce qui est mesuré | Résultat |
|---|---|
| Chute selon la position de la pièce utile | Plus de 20 points pour GPT-3.5-Turbo |
| Pire position, sur vingt et trente documents | Moins bon que sans aucun document — 56,1 % de bonnes réponses à livre fermé |
| Version à contexte étendu contre version courte | Performances presque superposées |
| Passer de vingt à cinquante documents retrouvés | Environ 1,5 % de gain pour GPT-3.5-Turbo, pendant que le rappel du moteur, lui, continue de monter |
L'effet tient sur le modèle le plus fort du panel : GPT-4 dessine la même courbe, à un niveau absolu supérieur. Les auteurs la rapprochent de l'effet de position sérielle, décrit en psychologie depuis Ebbinghaus — d'une liste, on retient le début et la fin. Un mécanisme d'attention n'a aucune raison mathématique d'en souffrir, et il en souffre.
La conséquence est contre-intuitive : envoyer plus de documents au modèle est un compromis, pas une amélioration. Ce qui compte est l'ordre, pas le volume.
Le contexte ne suffit pas, et le modèle répond quand même
Troisième cas, le plus coûteux en entreprise. Une équipe de Google, de l'université de Californie à San Diego et de l'université Duke a séparé les cas où le contexte fourni contient de quoi répondre de ceux où il n'en contient pas — une distinction qu'aucun travail antérieur ne posait proprement.
source 3Sur leur jeu de questions annoté à la main, le contexte suffisait dans un peu plus de la moitié des cas.
| Sur cinq modèles | Contexte suffisant | Contexte insuffisant |
|---|---|---|
| Part des cas | 54,8 % | 45,2 % |
| Réponses correctes | 71,4 à 85,7 % | 7,7 à 23,1 % |
| Abstentions | 1,6 à 11,1 % | 50 à 73 % |
| Réponses fausses | 3,2 à 25,4 % | 15,4 à 40,4 % |
Lire la première colonne avant la seconde. Tout ce qu'il faut est sous les yeux du modèle, et il se trompe malgré tout — jusqu'à un cas sur quatre pour le plus faible des cinq. Et quatre de ces cinq modèles se trompent plus souvent qu'ils ne s'abstiennent : 14,3 % de réponses fausses contre 1,6 % d'abstentions pour Gemini 1.5 Pro. Un seul fait l'inverse.
Le résultat le plus gênant est ailleurs. Brancher une recherche documentaire fait baisser l'abstention : le modèle qui refusait de répondre se met à répondre parce qu'un contexte est là, quel qu'il soit. source 3
| Modèle | Abstentions sans documents | Avec documents |
|---|---|---|
| Gemini 1.5 Pro | 100 % | 18,6 % |
| Claude 3.5 Sonnet | 84,1 % | 52 % |
| GPT-4o | 34,4 % | 31,2 % |
⚠️ Ces trois chiffres sont donnés ensemble par les auteurs, sans nommer le jeu de questions ; le 100 % correspond à un jeu dont les questions portent, par construction, sur des faits qui changent avec le temps.
⚠️ Deux de ces trois sources se contredisent
L'équipe de Deakin rapporte l'inverse de ce que mesure l'équipe de Stanford : sur son tuteur, un contexte de huit mille jetons donnait de meilleures réponses qu'un contexte de quatre mille. Elle le signale elle-même comme contraire aux travaux qu'on vient de citer, et les nomme. source 1
Les deux protocoles n'ont rien à voir — un système en service d'un côté, une expérience contrôlée de l'autre. Nous ne tranchons pas. C'est exactement ce qu'une lecture intégrale rend visible et qu'un résumé aurait masqué : deux mesures publiées, honnêtes toutes les deux, qui ne disent pas la même chose.
Ce que ça change pour une entreprise qui installe un tel système
Trois choses suivent de ce qui précède, et aucune ne porte sur le choix du modèle.
Le jeu de questions de test est le livrable qu'on oublie. La validation n'étant possible qu'en service, il faut des questions du métier avec leurs réponses attendues, écrites par les gens qui connaissent le fonds. C'est le seul outil qui permette de constater qu'une modification a dégradé le système.
L'abstention se mesure au même titre que l'exactitude. Un système qui répond faux sur un dossier vaut moins qu'un système qui dit ne pas savoir. Ce comportement se règle et se vérifie ; il ne s'obtient pas par défaut, et l'ajout d'une recherche documentaire le dégrade.
Le classement importe plus que le volume. Remonter cent documents ne rattrape pas un mauvais ordre : la place de la bonne pièce dans le contexte pèse davantage que le nombre de pièces envoyées.
Si vous voulez savoir ce que votre propre système rate, c’est le sujet de notre audit des cas d’usage.