Tout le monde parle de ChatGPT, Claude, Gemini. Peu de gens savent ce que veut dire GPT, ni ce qui se passe réellement quand on tape une question. Ce n'est pas de la magie. Ce n'est pas non plus de l'intelligence au sens humain. C'est autre chose. Et comprendre cette « autre chose » change la façon dont on utilise ces outils. Depuis le 24 septembre 2026, cet article réunit aussi notre explication de l'acronyme GPT, publiée à part jusque-là.
Ce que veut dire GPT
GPT signifie Generative Pre-trained Transformer. Trois mots, trois idées :
GPT est la marque des modèles d'OpenAI, mais le mot est devenu générique. La suite de l'article explique ce que recouvre chacune de ces trois idées.
Le perroquet statistique : une métaphore imparfaite mais utile
On a souvent entendu que les LLM sont des "perroquets stochastiques" : ils répètent des patterns sans comprendre. C'est partiellement vrai, mais c'est réducteur.
Un LLM ne stocke pas du texte qu'il recrache. Il a appris des relations statistiques entre les mots. Quand il génère "Le chat est sur le...", il ne cherche pas dans une base de données. Il calcule que "tapis", "canapé" ou "lit" ont une forte probabilité de suivre, basé sur des milliards d'exemples.
Ce que ça signifie concrètement : Un LLM ne "sait" rien au sens strict. Il prédit. Très bien. Mais prédire n'est pas savoir.
L'attention : l'invention de 2017 qui a tout changé
Avant 2017, les modèles de langage lisaient le texte mot après mot, dans l'ordre. C'était lent, et ils perdaient le fil des phrases longues.
Le Transformer, présenté cette année-là par des chercheurs de Google, introduit un mécanisme appelé « attention » : le modèle regarde tous les mots d'une phrase en même temps et pèse les liens entre eux.
Exemple : dans « Le chat qui était sur le tapis s'est endormi », il relie « s'est endormi » à « chat », et non à « tapis ». Les modèles précédents trébuchaient sur ce genre de phrase.
C'est cette capacité à tenir le contexte d'ensemble qui rend les LLM actuels si fluides.
Tokens : pourquoi l'IA découpe vos mots bizarrement
Les LLM ne lisent pas des mots. Ils lisent des "tokens" : des morceaux de mots.
"Anticonstitutionnellement" devient plusieurs tokens : "Anti", "constitu", "tion", "nell", "ement". Le mot "the" en anglais est un seul token. Le mot "Sion" (la ville) peut être découpé en "S" + "ion".
Pourquoi c'est important :
Une réponse écrite un token à la fois
Un LLM ne réfléchit pas avant d'écrire. Il produit sa réponse un token à la fois : il lit votre demande, prédit le premier token, l'ajoute au contexte, prédit le suivant, et recommence jusqu'à la fin.
C'est pour ça que :
L'entraînement : des milliards de textes, aucune vérité
Un LLM est entraîné sur des quantités massives de texte : livres, sites web, articles, forums, code source. Tout ce qui est écrit par des humains.
Le problème : Internet contient du vrai et du faux. Le LLM apprend les deux sans distinction. Il apprend que "la terre est ronde" ET que "la terre est plate" existent comme phrases. Il ne sait pas laquelle est vraie ; il sait juste laquelle est plus fréquente dans certains contextes.
C'est pour ça que les LLM "hallucinent" : ils génèrent du texte plausible, pas du texte vrai. Si vous demandez un fait obscur, le modèle va produire quelque chose de crédible, qu'il soit exact ou inventé.
Et une date de coupure : l'entraînement s'arrête à un moment donné. Le modèle ne connaît rien de ce qui s'est passé après, sauf s'il a accès à une recherche en ligne. Les biais présents dans les textes d'entraînement se retrouvent dans ses réponses.
Température : le curseur créativité/précision
Quand un LLM génère du texte, il peut être plus ou moins "créatif". C'est contrôlé par un paramètre appelé température.
En pratique :
GPT, Claude, Gemini, Llama : des cousins
Presque tous les grands modèles reposent sur la même architecture Transformer :
Ce qui les distingue n'est pas le principe de base, mais les données d'entraînement, les réglages apportés ensuite, les choix de sécurité et la taille du modèle.
Quand une entreprise vante « son IA propriétaire révolutionnaire », il y a de fortes chances qu'il s'agisse d'un Transformer comme les autres, avec une interface par-dessus.
Ce que ça change pour vous
Comprendre ces mécanismes change la façon d'interagir avec un LLM :
1. Ne lui faites pas confiance pour les faits
Vérifiez toujours. Surtout les dates, les chiffres, les citations.
2. Soyez précis
Plus votre demande est claire, moins le modèle doit "deviner". Moins il devine, moins il invente.
3. Le contexte compte
Un LLM avec l'historique de votre conversation performe mieux qu'un LLM "à froid".
4. Les limites ne sont pas des bugs
L'hallucination n'est pas un problème qu'OpenAI va "réparer". C'est inhérent au fonctionnement.
Ce qu'il faut retenir
GPT = Generative Pre-trained Transformer : un modèle qui génère, pré-entraîné, bâti sur l'architecture Transformer.
Un LLM prédit le texte probable, un token à la fois ; il ne « comprend » pas au sens humain.
L'attention, inventée en 2017, lui permet de tenir le contexte d'une phrase entière.
L'entraînement sur Internet inclut le vrai et le faux, et s'arrête à une date : d'où les hallucinations et les trous.
La température règle le curseur entre créativité et fiabilité.
GPT, Claude, Gemini et Llama sont des cousins : même architecture, réglages différents.