Comment fonctionnent les grands modèles de langage ? De l'entraînement à l'interprétabilité.
Conférence
25/09/2026 | 20h00 - 21h00 | Grande scène - Cour Pasteur
Informations
Les grands modèles de langage (LLM) sont souvent présentés comme de simples "auto-compléteurs de textes".
Et pourtant, aujourd'hui, ils sont capables de produire des raisonnements originaux, ayant conduit par exemple à de nouvelles preuves en mathématiques ou en physique théorique.
Dans cette conférence, j'expliquerai comment ces modèles sont d'abord architecturés, puis entraînés.
Et je présenterai des résultats sur l'interprétabilité mécanistique des LLMs, cette discipline qui s'efforce de comprendre comment ces modèles construisent des représentations internes des concepts qu'ils manipulent.
Nous verrons que loin d'être de simples perroquets, les LLMs parviennent à se forger des modèles mentaux qu'il est possible dans une certaine mesure de déchiffrer et d'influencer.
