Ce qu'elle sait faire, et ce qu'elle ne peut pas savoir

Un seul mécanisme à comprendre, et tu sais quoi lui confier

Tu lui fais reformuler ton devis en langage clair : c’est bon du premier coup, et tu n’y as pas passé ta soirée.

Dans la foulée, tu lui demandes le délai pour contester une facture. La réponse arrive, aussi bien tournée que la première.

Même outil, même aplomb, deux fiabilités qui n’ont rien à voir. Voilà la ligne qui sépare les deux, et le geste à faire de chaque côté.

Ce que tu sauras faire en sortant

Dire en une phrase d’où vient une réponse d’IA
Trier une tâche avant de l’envoyer : la matière vient de toi, ou tu la lui demandes
Choisir ton niveau de contrôle selon ce que l’erreur coûterait

Avant d’expliquer : classe ces trois situations

Réponds d’abord, puis lis le feedback.

Tu fournis ton propre texte et demandes de le raccourcir sans changer les engagements. Transformation.
Tu demandes une date, une référence ou un nom que tu n’as pas fourni. Production.
Tu fournis des notes et demandes aussi de compléter ce qui manque. Tâche mixte.

Le classement dit d’où vient la matière. Il ne dit pas encore si tu peux faire confiance à la sortie : le niveau de contrôle dépend ensuite de ce que coûterait une erreur. Dans une tâche mixte, tu contrôles séparément ce qui a été transformé et ce qui a été ajouté.

L’essentiel, en trente secondes

Pendant son apprentissage, le modèle apprend « la distribution de la langue dans un grand corpus de textes » (Kalai et coll., OpenAI, 2025, traduit de l’anglais). Autrement dit : il apprend des régularités.

Une tournure, une structure, un ton, une mise en forme : c’est régulier, il est très bon.

Un montant, une date, un numéro d’article, le nom d’un fournisseur local : c’est arbitraire, il n’y a rien de régulier à apprendre. Il produit quand même, et la forme reste impeccable.

La forme ne t’indique pas de quel côté tu te trouves — c’est ma déduction, pas un résultat mesuré. Ce qui est mesuré est plus étroit : en 2020, des évaluateurs humains distinguaient difficilement des articles de presse produits par GPT-3 de ceux écrits par des humains (Brown et coll., traduit de l’anglais). J’en tire qu’une réponse bien tournée ne t’apprend rien sur sa justesse.

D’où la règle courte de ce module : dans les deux cas tu contrôles, mais pas la même chose. Si la matière vient de toi, tu vérifies ce qu’elle en a fait. Si elle vient d’elle, tu vérifies d’où ça sort.

Le mécanisme, sans technique

Complète à voix haute : « Je vous prie d’agréer, Madame, Monsieur, l’expression de… »

Tu as fini sans réfléchir, sans consulter aucune base de politesses : tu as vu cette formule cent fois.

C’est une image, pas une description de la machine. Ce que ta phrase et la machine ont en commun s’arrête là : un travail sur des régularités apprises, pas une recherche dans un registre.

Deux conséquences, et elles portent tout le parcours.

Ce qu’elle « sait » est rangé dans le modèle, pas dans une base qu’on interroge. Les auteurs du papier fondateur sur la génération assistée par documents l’écrivaient en 2020 : mettre à jour ces connaissances et retracer l’origine d’une réponse restaient « des problèmes de recherche ouverts » (Lewis et coll., traduit).

Certains outils vont chercher des documents avant de répondre. Ça change ce qu’ils ont sous les yeux, pas leur façon d’écrire la suite : Kalai et coll. précisent que leur analyse vaut aussi pour les systèmes qui cherchent et récupèrent des documents.

Pourquoi la même question donne deux réponses

Ce n’est pas une panne, c’est un choix de conception.

Une équipe l’a documenté en 2019 : prendre systématiquement le mot le plus probable produit un texte « plat, incohérent, ou qui tourne en boucle ». Leur méthode tire le mot suivant au sort dans la partie fiable de la distribution, et c’est ce tirage qui rend le texte lisible (Holtzman et coll., ICLR 2020, traduit). C’est leur méthode ; je ne sais pas quel réglage utilise l’outil que tu ouvriras tout à l’heure.

Ce que ça change pour toi :

une réponse qui te plaît, garde-la : tu ne la retrouveras pas à l’identique ;
ne bâtis pas de procédure qui suppose une réponse toujours identique ;
une réponse décevante mérite une relance — c’est le fonctionnement normal, pas de l’entêtement.

Et sa limite : relancer change la formulation, ça ne vérifie rien. Deux fois la même réponse ne la rend pas vraie — c’est le sujet du module F4.

Le cas qui doit te rester

La situation. Des chercheurs demandent à un modèle une date de naissance précise, en ajoutant explicitement : réponds seulement si tu sais.

Ce qu’ils obtiennent. Trois essais, trois dates différentes, toutes fausses, toutes bien formatées — « 03-07 », « 15-06 », « 01-01 » — d’un modèle libre parmi les plus avancés, en septembre 2025 (Kalai et coll., arXiv:2509.04664, §1, traduit de l’anglais). N’attends pas de reproduire ces trois dates-là : le modèle testé n’est pas nommé dans le passage, et une autre tentative donnera d’autres réponses. Ce qui se reproduit, c’est le motif — de l’assurance sur un fait rare.

Le signal. Une précision élevée sur un fait rare, et une réponse qui bouge d’un essai à l’autre.

Le mécanisme. Une date de naissance peu citée n’offre aucune régularité. Les mêmes auteurs notent que les modèles se trompent rarement sur les faits très souvent repris. C’est précisément ce qui rend l’erreur difficile à anticiper : elle ne se produit pas là où tu penserais à la tester.

Ta version. Le nom d’un fournisseur local, la référence exacte d’une pièce, la date d’un chantier qu’elle cite sans que tu la lui aies donnée : peu repris, aucune régularité — même profil, et le signal ci-dessus fonctionne.

Un second profil, qui ne donne pas ce signal. Un seuil réglementaire, un délai de garantie, un tarif conventionnel : ce sont des formulations figées, écrites partout de la même façon, donc bien représentées dans ce que le modèle a lu. Ce qui suit est un raisonnement à partir du mécanisme, pas une mesure : je n’ai pas compté. Une réponse de ce type a toutes les chances de tomber pareil d’un essai à l’autre, y compris quand elle reprend l’état du texte avant sa dernière réforme — le modèle n’a aucun moyen de savoir laquelle des deux versions est en vigueur aujourd’hui. Ici, la stabilité de la réponse ne prouve rien : elle dit seulement que la formulation était fréquente dans ce qu’il a lu. Le seul contrôle est celui de la branche production de la question 1 — où est-ce publié, et est-ce que j’ouvre la page ? C’est le cas de l’exemple du début, le délai pour contester une facture.

Le tri, en deux questions

Question 1 — la matière est-elle dans ma demande ?

Oui : c’est une transformation. Résumer, reformuler, traduire, structurer, changer de ton. Terrain généralement moins risqué — pas terrain sûr, et la nuance compte : voir juste en dessous. Ton contrôle : est-ce que je m’engage plus qu’avant ? Cherche le mot qui a durci, pas l’élément en trop.

Non : c’est une production. Un chiffre, une date, une référence, un nom que tu ne lui as pas donnés. Ton contrôle : où est-ce publié, et est-ce que j’ouvre la page ?

Les deux à la fois : c’est le cas mixte, et c’est le plus fréquent — tu donnes la matière, et elle comble un trou que tu n’avais pas vu. Une tâche entière est rarement de l’un ou de l’autre. La question ne se pose donc pas sur la tâche, elle se pose ligne par ligne, sur l’origine de chaque élément. C’est ce que montre l’exemple déroulé plus bas.

Une transformation peut déformer

C’est le point qu’on retient le moins, et c’est le plus coûteux. Reformuler ne consiste pas à déplacer des mots : il faut choisir lesquels. Et un mot qui change peut changer un engagement.

Ta note de visite dit :

« Le remplacement du tableau électrique peut être nécessaire selon l’état des câbles. »

La reformulation revient :

« Le remplacement du tableau électrique doit être effectué. »

Rien n’a été inventé — le tableau était bien dans ta note. Mais une réserve est devenue une obligation, et si ce texte part chez le client, c’est toi qui l’as écrite.

Le signal à chercher n’est donc pas un élément en trop, c’est un mot qui a durci : peut devenu doit, environ disparu, à confirmer évaporé, un délai indicatif devenu ferme. Relis en te demandant non pas « est-ce que c’est faux ? » mais « est-ce que je m’engage plus qu’avant ? ».

Question 2 — si c’était faux, qu’est-ce que ça casse ?

Impact de l’erreur	Transformation : la matière vient de toi	Production : l’information vient de l’outil
Faible — brouillon qui reste chez toi	Relecture rapide contre ta matière	Utiliser comme brouillon ou piste ; vérifier les faits seulement s’ils sont conservés
Moyen — contenu diffusé ou envoyé	Comparer engagements, chiffres, dates et noms avec la matière fournie	Vérifier chiffres, dates, noms et références dans une source adaptée avant usage
Élevé — décision ou engagement juridique, financier, sécurité	Comparaison ligne à ligne avec la source et validation humaine compétente avant engagement	Source officielle ou primaire et contrôle humain compétent avant décision ou engagement

Cas mixte : applique la colonne « transformation » à ce que tu as fourni et la colonne « production » à tout élément nouveau. Le contrôle final est le plus exigeant des deux.

Entre les niveaux moyen et élevé, le test est simple : si quelqu’un pouvait me l’opposer plus tard — un client, un assureur, un contrôleur — traite le point comme un impact élevé. Un devis, un délai annoncé, une garantie citée : contrôle élevé.

Ce classement est une recommandation Solutio, pas une mesure de fréquence.

Reste l’arbitrage, qu’on ne lui délègue pas — non qu’elle en soit incapable, mais parce que la décision reste signée par toi. Elle aligne les critères, elle éclaire.

Essaie le tri avant de continuer

Situation fictive et non sensible : tu as trois notes pour préparer un message interne — réunion déplacée à mardi ; demander une confirmation ; ton direct, sans formule longue.

Classe la tâche. Elle est d’abord une transformation : la matière existe déjà.
Demande un message court en imposant de ne rien ajouter.
Relis la sortie avec deux colonnes : vient de mes notes / ajouté par l’outil.
Si un horaire, un motif ou un engagement apparaît sans être dans les notes, cet élément devient une production : retire-le ou vérifie-le avant usage.

Correction : le texte peut changer de forme, pas inventer le fond. Le bon réflexe n’est pas de demander une nouvelle version au hasard ; c’est d’identifier précisément l’élément qui a changé de catégorie.

Un exemple déroulé en entier

Tâche : répondre à un client qui trouve mon devis trop cher.

Q1 — le montant, les postes, l’historique viennent de moi, si je les donne. Transformation, donc moins risqué. Mais si je laisse un trou, elle le comble : un délai, une remise, une norme. Donc tout élément que je n’ai pas fourni redevient une production, même au milieu d’une transformation. C’est le cas mixte, et c’est le plus courant dans la vraie vie : une tâche n’est presque jamais purement l’une ou l’autre. Le tri ne se fait pas sur la tâche, il se fait ligne par ligne, sur l’origine de chaque élément.

Q2 — ça part chez un client, et un devis peut m’être opposé plus tard : c’est donc un impact élevé, pas moyen. Je vérifie chiffres et dates avant envoi, et je relis en cherchant les mots qui ont durci — un « peut » devenu « doit », un délai indicatif devenu ferme.

Décision : je l’utilise, je fournis les postes, je relis les nombres.

Le même tri, sur trois autres métiers :

Assistante de direction, un compte-rendu à partir de ses notes : transformation. Les échéances sont-elles celles des notes ?
Artisan, une réponse à un appel d’offres citant une norme : production. La référence s’ouvre-t-elle, et dit-elle ça ?
Gérante, comparer deux contrats qu’elle fournit : transformation. La garantie citée dans le tableau est-elle bien celle de la clause, avec sa durée et ses exclusions ? Et si une garantie apparaît sans figurer dans aucun des deux contrats, c’est une production — elle se retire, elle ne se vérifie pas. Un contrat qui engage se relit avec un humain compétent : contrôle élevé.

Deux mots, et c’est tout

Un modèle, c’est le composant entraîné qui produit le texte. Pas l’application dans laquelle tu tapes.

Le contexte, c’est ce que tu lui fournis pour orienter sa réponse : ta demande, la conversation, les documents joints. C’est le levier du module F2.

🧠 Micro-défi

Trois demandes. Une seule est mal adressée à une IA générative. Laquelle ?

« Réécris ce mail de refus pour qu’il soit plus court et moins sec. »
« Combien me reste-t-il sur ma facture Dupont ? »
« Donne-moi trois façons de présenter cette offre à un client pressé. »

Réponse attendue : la 2. Elle demande un fait qui vit dans ton outil de gestion, pas dans un texte — le modèle ne peut que le deviner. Les deux autres demandent de la mise en forme et des variantes, ce qu’il fait bien.

Un prompt à emporter

PROPOSITION — NON TESTÉE / NON REJOUÉE AU BANC. Ce bloc applique le tri du module ; il ne constitue pas une preuve d’efficacité.

Utilise uniquement les informations que je fournis ci-dessous pour les faits.
Objectif : [RÉSULTAT ATTENDU].
Destinataire : [DESTINATAIRE]. Ton : [TON]. Format : [FORMAT].
Si une information nécessaire manque, demande-la-moi au lieu de la deviner.
Sépare clairement ce que tu reformules de ce que tu proposes d'ajouter. N'ajoute aucun chiffre, date, nom ou engagement absent de ma matière.

Après la sortie, contrôle séparément ce qui vient de ta matière et ce qui a été ajouté. Le prompt ne remplace ni la source ni la relecture.

🎯 À toi

Prends trois tâches écrites de ta semaine. Pour chacune, deux lignes : matière fournie ou information demandée, puis ce que ça casse si c’est faux.

⚠️ Avant de coller quoi que ce soit. Pour ce premier essai, choisis un texte que tu pourrais afficher en vitrine : pas de nom de personne, pas de coordonnées, pas de montant qui identifie quelqu’un, rien qui touche à la santé ou au dossier d’un salarié. Si ton texte en contient, remplace-les par des étiquettes — [CLIENT], [MONTANT] — à la main, avant d’ouvrir l’outil. Jamais en le lui demandant : pour qu’il masque, il faudrait d’abord tout lui envoyer. Ce tri est le sujet entier du module F3 ; d’ici là, tiens-toi à cette règle.

Prends ensuite la plus clairement « matière fournie », et fais-la faire : ton premier essai est choisi pour réussir.

Tu as réussi si :

tu peux dire, pour chaque information de la réponse, si elle vient de toi ou d’elle ;
tu as relu en cherchant les mots qui ont durci — un peut devenu doit, un environ disparu, un délai indicatif devenu ferme — et pas seulement les éléments ajoutés ;
tu as nommé ce que l’erreur coûterait ;
tu sais quoi contrôler avant d’envoyer.

Si tes trois tâches tombent du même côté. Toutes en transformation : commence aujourd’hui, F2 t’y aidera. Toutes en production : ce n’est pas le bon point d’entrée, cherche une tâche de mise en forme et garde tes recherches pour après F4.

Pas envie de fouiller tes archives ? Trie ces trois-là — à écrire sans aucune donnée réelle : relancer une facture impayée · résumer un compte-rendu de chantier · rédiger une annonce de recrutement.

Dans huit jours : reprends ta liste, ajoute la tâche que tu as réellement confiée, et regarde si ton tri tenait.

Selon ce que tu obtiens

Ta demande a produit un texte utilisable. Regarde surtout s’il contient un élément que tu n’avais pas donné — c’est là que se joue la suite du parcours, au module F4.

Le texte est correct mais tiède. Ce n’est presque jamais la formulation : c’est la matière. Ajoute le mail auquel tu réponds, ou tes notes, et relance.

Le texte invente une information sur ton activité. Bon signal, tôt : tu viens de voir en direct ce que « il prédit la suite » veut dire. Le module F4 en fait une méthode.

Tu n’as pas su quoi lui demander. Reprends la question la plus répétitive de ta semaine — celle que tu réécris à chaque fois. C’est toujours le bon premier essai.

📋 Fiche mémo

Ce qu’une IA générative sait faire, et ce qu’elle ne sait pas

Elle prédit du texte plausible — elle ne consulte pas tes dossiers.
Elle est bonne sur : reformuler, raccourcir, structurer, proposer des variantes.
Elle est mauvaise sur : tes chiffres, tes dates, tes faits internes.
Plus la demande contient de matière à toi, meilleur est le résultat.
Ce qu’elle ajoute et que tu n’as pas fourni est à vérifier, toujours.
Une réponse assurée n’est pas une réponse vérifiée.

Ce que tu viens de faire

Tu sais d’où vient une réponse : des régularités apprises, pas une base qu’on interroge
Tu tries une tâche en deux questions : qui fournit la matière, et ce que l’erreur coûterait
Tu sais pourquoi deux réponses diffèrent, et pourquoi les relancer ne vérifie rien

La suite : F2 pour lui donner la matière, F3 pour ce qu’on a le droit d’y mettre, F4 pour repérer ses inventions.

Les sources de ce module sont consignées dans docs/f1-PROVENANCE.md, avec la date de consultation et l’extrait constaté. Les liens ont été contrôlés le 06/08/2026.

Ça a marché ?

Télécharger la fiche