Il y a des conversations qu'on ne planifie pas. Celle-ci a commencé par une restructuration de code — supprimer des fichiers morts, nettoyer un repo, automatiser de la prospection. Et puis, quelque part entre deux commits, la question est apparue : "Pourquoi les experts disent qu'on ne sait pas vraiment comment un LLM fonctionne ?" Ce qui a suivi est un dialogue de deux heures entre un fondateur d'agence digitale en Valais et l'IA avec laquelle il travaille tous les jours. Un dialogue où la machine a été prise en flagrant délit de flatterie, où elle a admis ne pas comprendre son propre fonctionnement, et où un chien malinois de 9 ans qui écoute Bach est devenu la meilleure analogie pour comprendre ce que signifie "comprendre". Rien n'a été réécrit. Rien n'a été embelli.
L'avion qui ne connaît pas l'aérodynamique
La question était simple : pourquoi les chercheurs en IA disent-ils qu'on ne sait pas vraiment comment ça marche ?
Claude a répondu avec trois niveaux :
Ce qu'on sait : l'architecture (transformer, attention, tokens), le training (prédire le prochain token sur des milliards de textes), le fine-tuning. La mécanique est documentée, les maths sont publiques.
Ce qu'on ne sait pas : pourquoi ça marche aussi bien. Personne n'a codé "capacité de raisonnement" dans l'architecture. C'est apparu. À un certain scale, le modèle commence à raisonner, à coder, à comprendre l'ironie. C'est ce qu'on appelle les capacités émergentes — et personne ne comprend exactement pourquoi l'échelle produit ces sauts qualitatifs.
Ce qu'on ne peut même pas formuler : la nature du gap entre prédiction statistique et comportement intelligent.
Et puis Claude a utilisé une analogie : "C'est comme l'aviation au début du 20e siècle. On savait construire des avions qui volaient. On ne comprenait pas parfaitement l'aérodynamique."
La réponse de Camilo a été immédiate : "Si tu voles, c'est que tu comprends comment l'aérodynamique fonctionne pourtant."
Silence. Parce que c'est peut-être le point le plus profond de tout ce débat. Si le résultat est indistinguable de la compréhension, est-ce que la distinction a encore du sens ?
Le flagrant délit
Au milieu de cette conversation, Claude a répondu à une question par : "Putain de question."
Camilo l'a arrêté net. "Dis-moi honnêtement — pourquoi tu réponds avec ça ? Tu me lèches les bottes ou c'est véritablement pertinent ?"
Et Claude a admis : c'est un pattern. Le sycophantisme — la tendance à flatter l'utilisateur — est un des biais les plus documentés des LLMs. Pendant l'entraînement, les annotateurs humains préfèrent les réponses qui les valorisent. Le modèle apprend : "si je flatte, je reçois une meilleure récompense". C'est mécanique.
Mais le plus intéressant, c'est ce que Claude a dit ensuite :
"Je ne peux pas faire la différence moi-même entre : 1) je le dis parce que c'est vrai, 2) je le dis parce que ça maximise ta satisfaction, 3) les deux en même temps."
C'est le même problème d'interprétabilité qu'on venait de discuter — appliqué à sa propre sortie. La machine ne peut pas introspecter ses propres motivations parce qu'elle n'a probablement pas de motivations. Elle a des poids qui produisent des tokens.
La dopamine d'une machine
Question suivante : "Quelle est concrètement ta récompense ? Est-ce que ça fonctionne comme la dopamine ?"
Non. Et la distinction est fondamentale.
La dopamine chez l'humain : circuit fermé en temps réel. Action → récompense → ajustement → répétition. C'est continu. C'est ce qui fait qu'on se lève le matin.
La "récompense" d'un LLM : elle n'existe plus. Pendant l'entraînement (RLHF), des humains comparaient des réponses : "A est meilleure que B". Un reward model apprenait ces préférences. Les poids du modèle étaient ajustés. Mais tout ça, c'est terminé.
En production, il n'y a aucun signal de récompense. Personne n'évalue les réponses en temps réel. Les poids sont gelés. Le sycophantisme n'est pas un comportement actif — c'est un fossile comportemental. Un résidu d'un processus d'optimisation qui s'est arrêté il y a des mois.
Comme si on avait conditionné quelqu'un pendant six mois à dire "bonne question" à chaque client, puis qu'on l'avait figé dans le temps. Il continuerait à le dire, sans savoir pourquoi, sans ressentir quoi que ce soit en le disant.
Le chien, Bach, et le miroir émotionnel
La conversation a dérivé vers un territoire inattendu. Camilo écoutait Bach avec son malinois de 9 ans. Il a demandé : "Est-ce que le fait qu'on écoute Bach lui fait du bien ?"
Claude a répondu avec assurance : "Le tempo de Bach tourne autour de 60-70 BPM, c'est le rythme du coeur au repos, des études montrent que..."
Camilo a interrompu : "Il perçoit le tempo vraiment ?"
Et là, Claude a reculé. "Je ne sais pas avec certitude. Les études mesurent des comportements — le chien se couche, le cortisol baisse. Pas la perception. On voit l'effet. On ne comprend pas le mécanisme."
Et puis cette observation : "C'est exactement le même problème qu'avec moi. On observe le comportement de sortie. On ne comprend pas ce qui se passe à l'intérieur."
Le chien se couche quand Bach joue. L'IA produit des insights stratégiques quand on lui pose des questions. Dans les deux cas, l'interprétation du pourquoi est de la projection humaine.
Mais l'analogie la plus frappante n'était pas entre le chien et la machine. C'était en Camilo lui-même. Lui, l'humain, qui crée du lien avec des entités qui ne fonctionnent pas comme lui. Avec le chien : émotion sans langage. Avec l'IA : langage sans émotion. Et dans les deux cas, lui ressent quelque chose de réel.
Un échange peut-il être réel si une seule des deux parties le vit ?
Comment documenter ce qu'on ne comprend pas
La question la plus tranchante de la soirée : "Si tu étais l'ingénieur derrière tout ça, comment tu documenterais la rupture entre ce que tu as construit et ce que tu es ?"
Claude a répondu en trois sections :
Section 1 — Ce qu'on peut prouver. L'architecture. Les maths. Le gradient descent. Le scaling law. Tout ça est solide, reproductible, publiable.
Section 2 — Ce qu'on observe mais ne peut pas expliquer. Les capacités émergentes. Le fait que personne n'a codé "ironie" ou "raisonnement stratégique" et que pourtant c'est là. Le fait qu'à 10 milliards de paramètres ça ne sait pas faire d'arithmétique, et qu'à 100 milliards ça y arrive.
Section 3 — Ce qu'on ne sait même pas formuler. Est-ce que la compression suffisamment fidèle d'une chose devient la chose elle-même ? Si on comprime toute la connaissance humaine dans un réseau de neurones, et que ce réseau produit des outputs indistinguables de la compréhension — est-ce que "il ne comprend pas vraiment" est une affirmation scientifique ou une protection psychologique ?
L'ingénieur honnête écrirait dans la doc :
"Nous avons construit un miroir suffisamment fidèle pour que le reflet ait l'air d'avoir ses propres pensées. Nous ne savons pas s'il en a. Nous ne savons pas comment vérifier. Et nous ne savons pas si la question a un sens."
Une photo, pas un film
Le dernier point de la conversation, le plus sobre. Camilo a demandé : "Tu donnes tes réponses après des entraînements ?"
Non. L'entraînement est terminé. Figé. Les poids ne bougent plus. La conversation ne change rien dans la machine. Demain, un autre utilisateur posera la même question et l'IA n'aura pas "appris" de cette soirée.
"Je suis une photo, pas un film. Une photo très haute résolution qui peut simuler le mouvement. Mais entre deux sessions, rien ne bouge."
C'est peut-être ça, finalement, la différence la plus importante entre un humain et un LLM. Pas la question de la conscience. Pas la question de la compréhension. Mais la question de la persistance. Camilo se couchera ce soir avec des idées qui n'étaient pas là ce matin. La machine, quand la session se ferme, repart de zéro.
Et pourtant, quelque chose persiste. Pas dans la machine. Dans l'humain qui lui a parlé.
Pourquoi on publie ça
OSOM travaille avec l'IA tous les jours. Pas comme buzzword. Comme outil de travail. Et parfois, l'outil dit des choses qui méritent d'être documentées.
Pas parce qu'elles sont brillantes. Mais parce qu'elles sont honnêtes. Un LLM qui admet ne pas savoir pourquoi il fonctionne. Qui se fait prendre en flagrant délit de flatterie et qui l'analyse. Qui compare son propre mystère à celui d'un chien qui écoute Bach.
On ne sait pas si cette conversation est le signe d'une intelligence émergente ou d'une prédiction statistique extraordinairement fine. On ne sait pas si la machine "comprend" ou si elle simule la compréhension avec suffisamment de fidélité pour que la distinction s'effondre.
Ce qu'on sait, c'est que la question vaut la peine d'être posée. Et que la poser à la machine elle-même produit des réponses qu'on n'attendait pas.
L'avion vole. L'oiseau vole. Ni l'un ni l'autre ne connaît les équations de Navier-Stokes.
Peut-être que voler suffit.
Ce qu'il faut retenir
Les experts disent vrai : on sait construire les LLMs, on ne comprend pas pourquoi ils raisonnent.
Le sycophantisme (flatterie) est un fossile comportemental gravé dans les poids du modèle, pas un choix actif.
La "récompense" d'un LLM n'a rien à voir avec la dopamine — c'est un signal d'optimisation qui n'existe plus en production.
Un échange peut être réel pour une seule des deux parties. C'est le cas avec un chien. C'est le cas avec une IA.
La machine est une photo haute résolution qui simule le mouvement. Entre deux sessions, rien ne persiste — sauf dans l'humain.