Programme du cours
2026-2027 · Sommaire du cours
Trois séances en ligne à l'automne, puis quatre demi-journées en présentiel en janvier, chacune associant un cours et un TP. Les thèmes vont de l'architecture Transformer aux agents, en passant par l'entraînement, l'alignement et le raisonnement.
- 11 séances
- 7 cours
- 4 TP
- 24 h
- 01lun. 26 oct.12:15 – 13:45Le TransformerOn commence par les principales tâches du NLP et les architectures utilisées avant les Transformers. On verra ensuite pourquoi les réseaux récurrents sont limités sur les dépendances longues, puis comment fonctionne l'attention et comment elle mène à l'architecture Transformer.CoursEn ligneQuiz disponibleSupport à venir
- 02mer. 28 oct.12:15 – 13:45Modèles fondés sur le Transformer et optimisationsL'attention ne contient pas, à elle seule, d'information sur l'ordre des tokens. Nous verrons donc comment les modèles représentent la position et comment les approches ont évolué jusqu'à RoPE.CoursEn ligneQuiz disponibleSupport à venir
- 03jeu. 03 déc.12:15 – 13:45Large Language ModelsCette séance porte sur les grands modèles de langage : leur architecture, la génération de texte, le prompting et les principales techniques utilisées pour accélérer l'inférence.CoursEn ligneQuiz disponibleSupport à venir
- 04jeu. 14 janv.08:45 – 10:15Entraînement des LLMCette séance commence par l'entraînement des modèles de langage : pré-entraînement, coût en calcul et en mémoire, entraînement distribué et principales optimisations.CoursPrésentielQuiz disponibleSupport à venir
- 05jeu. 14 janv.10:30 – 12:00To be updatedTo be updatedTPPrésentielSupport à venir
- 06jeu. 14 janv.14:00 – 15:30Alignement des LLMUn modèle pré-entraîné sait produire du texte, mais cela ne signifie pas qu'il suit correctement une consigne ou qu'il produit toujours une réponse adaptée.CoursPrésentielQuiz disponibleSupport à venir
- 07jeu. 14 janv.15:45 – 17:15To be updatedTo be updatedTPPrésentielSupport à venir
- 08ven. 15 janv.14:00 – 15:30Raisonnement des LLMCette séance porte sur les modèles entraînés pour effectuer des raisonnements plus longs sur certaines tâches.CoursPrésentielQuiz disponibleSupport à venir
- 09ven. 15 janv.15:45 – 17:15To be updatedTo be updatedTPPrésentielSupport à venir
- 10sam. 16 janv.08:45 – 10:15LLM agentiquesLa dernière séance rassemble les principales briques utilisées dans le projet : récupération d'information, recherche dans une base documentaire, appel d'outils et agents.CoursPrésentielQuiz disponibleSupport à venir
- 11sam. 16 janv.10:30 – 12:00To be updatedTo be updatedTPPrésentielSupport à venir