Transformers : la bataille fermé contre poids ouverts
Durée 3:50
Neuf ans après « Attention Is All You Need », le mécanisme d'attention est toujours au cœur de l'IA générative. De BERT à GPT-3, de gpt-oss à Mistral 3, de Claude Opus 5 à Kimi K3 : cette vidéo retrace ce qui a vraiment changé. La nouvelle ligne de partage ne sépare plus les laboratoires, mais les modèles fermés des modèles à poids ouverts, que l'on peut héberger soi-même. Pour une entreprise, cela veut dire choisir son éditeur, sa licence et le lieu où tourne le modèle.
Chapitres
Chaque chapitre ci-dessous est cliquable.
Transcription
En 2017, un article change tout : « Attention Is All You Need », signé Vaswani et son équipe. Il décrit une architecture nouvelle, le transformer. Avant lui, on traitait le texte mot après mot, en ligne. Les modèles LSTM et GRU dominaient, mais peinaient à travailler en parallèle. Le transformer, lui, pèse l'importance de chaque mot selon son contexte. Peu importe sa position dans la phrase, il reste relié aux autres. Ce mécanisme s'appelle l'attention. Il permet de calculer en parallèle, donc plus vite, sur de bien plus grands volumes de texte. En 2018, Google présente BERT. Sa nouveauté : pré-entraîner le modèle sur d'immenses corpus, puis l'adapter ensuite à une tâche précise. Le pré-entraînement apprend la structure de la langue. Le fine-tuning spécialise ensuite le modèle : classer un texte, répondre à une question. En 2020 arrive GPT-3, d'OpenAI. Le même principe, poussé à une échelle inédite, révèle une génération de texte étonnamment fluide. Aujourd'hui, les familles de modèles se multiplient. On retrouve GPT chez OpenAI, Gemini chez Google, LLaMA chez Meta, et Mistral chez Mistral AI. Mais la vraie ligne de partage a changé. Elle ne sépare plus les laboratoires : elle sépare les modèles fermés des modèles à poids ouverts. Un modèle à poids ouverts se télécharge et s'héberge chez soi. Un modèle fermé reste chez son éditeur, loué à distance. En août 2025, OpenAI publie gpt-oss-120b et gpt-oss-20b. Ce sont ses premiers modèles à poids ouverts depuis GPT-2, sous licence Apache 2.0. Le 2 décembre 2025, Mistral présente Mistral 3, dont le modèle Large 3. Un modèle de frontière européen, installable sur ses propres serveurs. Côté modèles fermés, Anthropic publie Claude Opus 5 le 24 juillet 2026. Puissant, mais accessible uniquement à distance, chez son éditeur. En Chine, Moonshot AI ouvre sa famille Kimi. K2 sort en juillet 2025, sous licence MIT modifiée, puis évolue vers K3 en juillet 2026. Éditeurs, licences, pays : tout les sépare. Pourtant tous descendent de l'attention décrite en 2017. Personne ne l'a remplacée en neuf ans. On l'a seulement rendue plus grande, plus rapide, et moins chère. La parole, elle aussi, a suivi le même chemin que le texte. Le 23 mars 2026, Mistral publie Voxtral TTS. Un modèle de synthèse vocale à poids ouverts, pensé pour les agents conversationnels. Reste un obstacle majeur : le coût. Entraîner un grand modèle comme GPT-3 exige énormément de matériel, et reproduit parfois les biais de ses données. Pour une entreprise, la conséquence est concrète. On peut désormais choisir son éditeur, sa licence, et le lieu où tourne le modèle. C'est ce terrain que travaille Koaee. Nous concevons des assistants conversationnels pour les entreprises, sur cette même lignée de transformers : Mistral, Voxtral et OpenAI. Nos assistants parlent seize langues. Le client d'une entreprise peut donc écrire ou parler dans sa langue. L'assistant lui répond dans cette même langue, à la voix. Cette vidéo survole ; l'article complet, lui, détaille tout, et il est en commentaire. Si l'IA vous intéresse, abonnez-vous et aimez la vidéo. À bientôt sur koaee.ai.