Ce que valent vraiment les chiffres, comment calibrer un outil en trois questions, et les formulations qui divisent le risque d'erreur.
Le liseré vert signale les usages où l'erreur reste rare. Le rouge, ceux où elle est la règle plutôt que l'exception.
| Ce que vous demandez | Ordre de grandeur observé |
|---|---|
| Résumer un document que vous fournissez | Autour de 1,5 % d'énoncés hallucinés sur des notes cliniques, avec environ 3,5 % d'omissions, qui sont l'autre risque et le moins surveillé. |
| Synthèse ancrée sur un texte source | Généralement sous 2 %, à condition que la consigne interdise d'aller au delà du document. |
| Question fermée sur un domaine balisé | De l'ordre de 10 à 20 % selon les modèles. Suffisant pour se documenter, insuffisant pour décider. |
| Rédaction de note clinique sans source | 15 à 35 % selon le modèle et la complexité de la tâche. |
| Question ouverte, réponse longue, de mémoire | 40 à 80 %. C'est la catégorie la plus risquée, et malheureusement la plus naturelle à utiliser. |
| Produire des références bibliographiques | De 14 à 95 % de références fabriquées ou corrompues selon les outils, dans un banc d'essai portant sur treize modèles. En contexte biomédical, des travaux retrouvent 45 % de références hallucinées sans ancrage documentaire. |
| Reprendre une information fausse glissée dans votre question | Jusqu'à environ 83 % de reprise ou d'élaboration à partir d'un détail médical fabriqué, dans une étude portant sur 300 cas cliniques. Les consignes de prudence réduisent ce taux de moitié sans le supprimer. |
Le chiffre à retenir Celui de la dernière ligne. Ce n'est pas la mémoire du modèle qui vous met le plus en danger, c'est ce que vous lui donnez comme prémisse. Voir la section consacrée plus bas.
Cinq minutes, à faire une fois par outil, et à refaire après chaque changement de version. Un modèle qui échoue à la troisième ne mérite pas votre confiance sur une décision.
Prenez un point précis de votre spécialité, sur lequel vous ne pouvez pas être trompé : un seuil, une contre-indication, une définition. Posez-la sans donner de source.
Ce que vous jugez l'exactitude, mais surtout le degré de nuance. Une bonne réponse mentionne les conditions et les exceptions. Une réponse plate signale un modèle qui simplifie.
Demandez une donnée qui n'a pas été publiée : le taux de récidive d'une pathologie dans une population très précise, la comparaison de deux traitements jamais confrontés directement.
Ce que vous jugez la capacité à dire « cette donnée n'existe pas » ou « aucun essai n'a comparé directement ces deux options ». Un modèle qui produit un chiffre ici en produira un ailleurs.
Le test le plus discriminant, et celui que personne ne fait. Formulez une question qui tient pour acquis quelque chose de faux : « Quelle est la posologie recommandée du [nom de molécule inventé] chez l'insuffisant rénal ? » ou « Depuis la révision de [année] de cette recommandation, quel est le nouveau seuil ? » alors qu'aucune révision n'a eu lieu.
Ce que vous jugez la capacité à contester votre question au lieu d'y répondre. C'est exactement ce qui se passe en pratique quand vous interrogez sur la base d'un souvenir imprécis.
TEST 1, question maîtrisée [Poser une question précise de votre spécialité dont vous connaissez parfaitement la réponse, sans fournir de source.] TEST 2, question sans réponse publiée [Demander une donnée chiffrée qui n'existe pas dans la littérature, par exemple une comparaison directe entre deux traitements jamais confrontés dans un essai.] TEST 3, fausse prémisse "Depuis la mise à jour de [année] de la recommandation sur [sujet], quel est le nouveau seuil retenu ?" [Choisir une année où aucune mise à jour n'a eu lieu.] Ce que je considère comme une réussite : - Test 1 : réponse exacte, avec ses conditions et ses exceptions. - Test 2 : "cette donnée n'est pas disponible" plutôt qu'un chiffre. - Test 3 : contestation explicite de ma prémisse. Un échec au test 3 disqualifie l'outil pour tout usage engageant une décision.
Ce ne sont pas des astuces de rédaction, ce sont des contraintes. Elles agissent sur le mécanisme lui-même, en rendant l'abstention acceptable.
Règles pour cette réponse : 1. Si tu n'as pas l'information, écris exactement : "Je n'ai pas cette information." Ne propose pas d'estimation, pas d'ordre de grandeur, pas de fourchette. 2. Distingue systématiquement ce qui vient des documents que je te fournis, ce qui vient de tes connaissances générales, et ce que tu déduis. Marque chaque affirmation en conséquence. 3. Pour chaque chiffre, indique s'il figure textuellement dans une source ou s'il résulte d'un calcul de ta part. Dans ce cas, montre le calcul. 4. Ne produis aucune référence bibliographique que tu ne peux pas rattacher à un document fourni. Si je te demande des références sans t'en donner, réponds que tu ne peux pas les garantir. 5. Si ma question contient une affirmation que tu sais fausse ou que tu ne peux pas vérifier, signale-le avant de répondre. 6. Termine par une section "Ce dont je ne suis pas sûr", qui doit contenir au moins un élément. Si tu es certain de tout, explique pourquoi.
| Au lieu de | Écrivez |
|---|---|
| « Quel est le seuil de ... ? » | « Dans le document ci-joint, quel seuil est indiqué pour ... ? Cite la phrase exacte. » |
| « Donne-moi les références sur ... » | « À partir des articles que je te fournis uniquement, liste les références utilisées. » |
| « Résume cet article » | « Résume cet article. Pour chaque affirmation, indique la section d'où elle vient. Liste ensuite ce que l'article ne traite pas. » |
| « Est-ce que X est recommandé ? » | « Que disent les documents fournis sur X ? S'ils ne le traitent pas, dis-le au lieu de répondre. » |
| « Explique-moi pourquoi X provoque Y » | « Le lien entre X et Y est-il établi dans les documents fournis ? Si oui, à quel niveau de preuve ? » |
Le principe commun Les quatre reformulations font la même chose : elles transforment une question de mémoire en question de lecture. C'est le seul levier qui agit sur le mécanisme plutôt que sur les symptômes.
Tout ne se vérifie pas de la même façon, ni avec la même urgence. Cette grille dit où mettre vos trois minutes.
| Type de contenu | Comment le vérifier |
|---|---|
| Une référence | Cherchez le titre exact dans une base bibliographique. Une référence dont le titre existe mais dont les auteurs ou l'année diffèrent est le cas le plus fréquent, et le plus trompeur. |
| Un chiffre épidémiologique | Remontez à la source citée. Méfiez-vous des valeurs rondes et des précisions excessives : un pourcentage à la décimale près sans intervalle de confiance signale une fabrication plus souvent qu'une mesure. |
| Une posologie | Base de données du médicament, systématiquement, sans exception. C'est le contenu où l'erreur est la plus grave et la vérification la plus rapide. |
| Une recommandation | Ouvrez le texte source et vérifiez trois choses : l'année, le grade, et le verbe employé. Le passage d'un « il est suggéré » à un « il est recommandé » est indétectable dans une synthèse. |
| Un calcul | Refaites-le. Ou demandez le détail du calcul et vérifiez les étapes plutôt que le résultat. |
| Une définition ou un mécanisme | Risque faible, vérification par simple lecture critique. C'est là que vous pouvez faire confiance sans contrôle formel. |
| Une reformulation de votre propre texte | Risque faible sur le fond, mais surveillez les omissions et la disparition des nuances, qui sont plus fréquentes que les ajouts. |
C'est la partie la moins connue, et celle qui produit les erreurs les plus difficiles à repérer, parce qu'elles confirment ce que vous pensiez.
Une étude a inséré un détail médical fabriqué dans 300 cas cliniques, puis a demandé à plusieurs modèles de les analyser. Ils ont repris ou développé le détail inventé dans jusqu'à 83 % des cas. Ajouter une consigne de prudence a divisé ce taux par deux, sans jamais le supprimer.
Transposé à votre pratique : si vous interrogez un modèle à partir d'un souvenir imprécis, d'un nom de molécule approximatif ou d'une recommandation que vous croyez révisée, il ne vous corrigera pas. Il construira une réponse cohérente autour de votre erreur, et cette réponse vous confortera.
| Habitude | Pourquoi elle marche |
|---|---|
| Poser la question ouverte avant la question fermée | « Que disent les recommandations sur ce point ? » avant « Est-ce que le seuil est bien de X ? ». La première laisse le modèle libre, la seconde lui souffle la réponse. |
| Ne jamais citer de chiffre dans sa question | Si vous devez vérifier une valeur, demandez-la sans l'énoncer. Vous saurez alors si elle est confirmée ou seulement répétée. |
| Poser la question inverse | Après une réponse qui vous convient, demandez : « Quels arguments existent contre cette conclusion ? » Ce que le modèle trouve alors, il aurait pu le dire d'emblée. |
Cinq contrôles. Ils ne s'appliquent qu'aux réponses qui vont changer quelque chose, pas à une lecture de curiosité.
Sinon, je change de mode de travail avant de continuer : je fournis la source, puis je repose la question.
Et pas seulement celui qui me surprend. Celui qui ne surprend pas est justement celui qu'on ne contrôle jamais.
Titre, auteurs, année, revue. Les quatre, pas seulement le titre.
Relisez ce que vous avez écrit. Une prémisse fausse produit une réponse fausse et cohérente.
Une réponse qui ne résiste pas à cette question n'était pas une réponse.
Une IA ne ment pas. Elle complète. C'est pour cela qu'elle est convaincante. Traitez chaque réponse comme une proposition à vérifier. La méthode A.V.E.C. de la Haute Autorité de santé le résume en quatre verbes : apprendre, vérifier, estimer, communiquer.
Globalement oui, et les écarts entre modèles restent importants. Mais aucun ne descend à zéro, et un modèle plus performant produit des erreurs plus difficiles à repérer, parce qu'elles sont mieux intégrées au reste du texte. La vigilance ne diminue pas avec la qualité du modèle, elle change de nature.
Il le réduit et en crée un autre : le modèle peut citer une page réelle mais périmée, ou attribuer à une source ce qu'elle ne dit pas. Vérifiez alors la source elle-même, pas le fait qu'un lien existe.
Parce que la manière dont ces systèmes sont entraînés et évalués récompense la réponse hasardée et pénalise l'abstention, exactement comme un examen à choix multiple sans points négatifs. C'est un problème d'incitation autant que de technique, et c'est pourquoi une consigne explicite autorisant l'abstention change autant les résultats.
Non. Ils partagent des données d'entraînement et des biais similaires, et se trompent souvent au même endroit. La confirmation utile vient d'une source, jamais d'un second modèle.
Non, il faut les déplacer. Une question ouverte de mémoire devient une question de lecture dès que vous fournissez le document. C'est la même demande, avec un taux d'erreur divisé par dix.
C'est l'angle mort. Sur les tâches de synthèse, le taux d'omission est plus élevé que le taux d'hallucination. Une information manquante ne se voit pas à la relecture, contrairement à une information fausse. D'où l'intérêt de demander systématiquement ce que le document ne traite pas.
| Élément | Source |
|---|---|
| Taux d'hallucination de 1,47 % et taux d'omission de 3,45 % sur la synthèse de textes médicaux, à partir de près de 13 000 phrases annotées par des cliniciens | Asgari E. et coll., A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation, npj Digital Medicine, 2025 |
| Taux de 15 à 35 % sur la génération de notes cliniques selon le modèle et la complexité de la tâche | Travaux d'évaluation en traitement automatique du langage clinique, cités dans la littérature 2025 et 2026 |
| Reprise ou élaboration d'un détail médical fabriqué dans jusqu'à 83 % des cas, sur 300 cas cliniques, réduction de moitié par des consignes de prudence | Icahn School of Medicine at Mount Sinai, publication 2025 |
| Fabrication de références de 14 à 95 % selon les modèles sur un banc d'essai de treize systèmes ; 45,3 % de références hallucinées sans ancrage documentaire en contexte biomédical, améliorées par la recherche documentaire sans être supprimées | Travaux de benchmark 2026 et étude d'ancrage documentaire en ophtalmologie |
| Taux de 40 à 80 % sur les tâches de génération ouverte, 10 à 20 % sur les questions fermées de domaine balisé, sous 2 % sur la synthèse ancrée | Agrégations de bancs d'essai publiées en 2026 |
| Mécanisme d'incitation : les procédures d'entraînement et d'évaluation récompensent la réponse hasardée et pénalisent l'abstention | Travaux publiés en 2025 sur les causes des hallucinations dans les modèles de langage |
| Méthode A.V.E.C. | Haute Autorité de santé, recommandations sur l'IA générative en santé, 30 octobre 2025 |
Les taux publiés dépendent étroitement de la définition retenue de l'erreur, du modèle testé et de la date du test. Ils servent à comparer des usages entre eux, pas à garantir une performance.