Qui gagne du temps avec l’IA, et qui en perd : deux essais contrôlés

Deux essais contrôlés, deux résultats opposés

Deux équipes ont posé la même question — combien de temps l'IA fait-elle gagner — en tirant au sort qui y a droit et qui ne l'a pas. L'une trouve un quart de temps gagné. L'autre trouve du temps perdu.

Ce n'est pas une contradiction, et ce que les deux ont en commun est plus utile que chacune prise seule.

Sept cent cinquante-huit consultants, et un gain net

La première a été menée avec le Boston Consulting Group et publiée dans Organization Science. Elle est préenregistrée, ce qui veut dire que les hypothèses ont été déposées avant la collecte. Sept cent cinquante-huit consultants ont été répartis au hasard entre trois conditions : sans IA, avec GPT-4, et avec GPT-4 précédé d'une initiation à la formulation de consignes.

Sur dix-huit tâches réalistes de leur métier, le résultat est net :

Un détail compte pour qui décide d'une formation : ce sont les consultants les moins bien notés au départ qui gagnent le plus, ce qui resserre l'écart entre les niveaux. Les meilleurs progressent aussi, mais moins.

La frontière est dentelée, et c'est le mot des auteurs

Les mêmes chercheurs ont ajouté une seule tâche conçue pour tomber en dehors de ce que l'outil sait faire. Ils l'ont bâtie à partir des études de cas que le cabinet emploie pour ses entretiens d'embauche : un tableur qui semble contenir toute l'information, et des notes d'entretien qui portent le détail décisif. Répondre juste demande de lire les deux.

Sur cette tâche, les consultants équipés de l'IA sont 19 points de pourcentage moins nombreux à trouver la bonne réponse que ceux qui n'en avaient pas.

C'est ce que les auteurs appellent la frontière dentelée : deux tâches qui paraissent d'égale difficulté à un humain peuvent tomber de part et d'autre d'une limite qui ne se voit pas. Et une seule tâche mal placée suffit à annuler le gain des autres, si l'on s'en remet à ce que l'outil produit.

Seize développeurs experts, et du temps perdu

La seconde étude est un essai contrôlé randomisé mené entre février et juin 2025. Seize développeurs expérimentés ont traité deux cent quarante-six tâches réelles sur des dépôts de logiciel libre qu'ils connaissent — cinq ans d'ancienneté en moyenne sur le dépôt, mille cinq cents contributions chacun, des projets d'un million cent mille lignes de code. Chaque tâche a été tirée au sort : avec ou sans outil d'IA. source 2

Résultat : les tâches faites avec l'IA prennent 19 % de temps en plus.

L'écart qui compte n'est pas le chiffre, c'est la croyance

C'est ici que l'étude devient utile à quiconque décide d'équiper une équipe.

⚠️ Ils ont travaillé des dizaines d'heures avec l'outil et se sont trompés de signe. Ce n'est pas qu'ils estiment mal les durées : la corrélation entre leurs prévisions et le temps réel est de 0,64. Ils savent combien de temps une tâche prend ; ce qu'ils ne savent pas, c'est ce que l'outil y change.

Une conséquence directe, et elle est déplaisante : demander à une équipe si l'IA lui fait gagner du temps ne mesure rien. Il faut chronométrer.

Ce que montrent les enregistrements d'écran

Les chercheurs ont annoté à la main cent quarante-trois heures d'enregistrement, à dix secondes près. Avec l'IA autorisée, les développeurs passent moins de temps à écrire du code et à chercher de l'information, et plus de temps à rédiger des consignes, à attendre, à relire ce que l'outil propose — et à ne rien faire.

Deux chiffres expliquent le reste : moins de 44 % des propositions de l'outil sont acceptées, et 9 % du temps total passe à relire et à corriger ce qu'il a produit.

La loi commune aux deux études

Elles ne se contredisent pas. Elles disent la même chose sous deux angles.

Le gain décroît avec l'expertise sur la tâche précise. Chez les consultants, ce sont les moins forts qui gagnent le plus. Chez les développeurs, l'étude relève que le ralentissement est plus marqué sur les parties du code qu'ils connaissent le mieux — et les auteurs citent, parmi les causes probables, la familiarité avec le dépôt et le savoir tacite que l'outil ignore.

Autrement dit : l'outil comble un écart de compétence là où il en existe un. Là où la personne est déjà experte, il ajoute une étape de relecture au lieu d'en retirer une.

⚠️ Ce que les auteurs refusent eux-mêmes de conclure

Aucune des deux équipes ne généralise, et il serait malhonnête de le faire à leur place.

L'étude sur les développeurs écrit en toutes lettres : « nous mettons en garde contre une généralisation abusive », le ralentissement observé « n'implique pas que les outils d'IA n'améliorent pas souvent la productivité des développeurs », et leurs résultats « sont compatibles avec un gain substantiel sur de petits projets neufs ou sur des bases de code peu familières ». Ils ajoutent que des modèles plus fiables ou mieux sollicités pourraient renverser le résultat. source 2

L'étude sur les consultants reconnaît de son côté que sa tâche hors frontière est unique, ce qui limite ce qu'on peut en tirer. source 1

⚠️ Et les deux mesurent un état de l'outil à une date. Février-juin 2025 pour l'une, GPT-4 pour l'autre. Ce qui vieillit ici, ce sont les chiffres. Ce qui ne vieillit pas, c'est la méthode : tirer au sort, chronométrer, et comparer à ce que les gens croyaient.

Ce qu'une entreprise peut en faire

Trois choses suivent, et aucune ne dépend du modèle choisi.

La question « est-ce que ça nous fait gagner du temps » n'a pas de réponse générale. Elle en a une par tâche, et la frontière ne se devine pas — deux tâches d'apparence semblable tombent de part et d'autre.

Le ressenti de l'équipe n'est pas une mesure. Des professionnels ayant passé des dizaines d'heures sur l'outil se sont trompés de sens. Un relevé de durée sur quelques dossiers réels vaut mieux qu'une enquête de satisfaction.

Là où le gain est le plus grand, il y a un écart de compétence à combler. C'est un argument pour regarder d'abord les tâches que l'équipe fait mal ou lentement, et non celles que ses meilleurs éléments maîtrisent déjà.

Si vous voulez que vos équipes gagnent ce temps pour de bon, c’est le sujet de nos formations.