Cours 04
Entraînement des LLM
- jeudi 14 janvier 2027
- 08:45 – 10:15
- Présentiel
Cette séance commence par l'entraînement des modèles de langage : pré-entraînement, coût en calcul et en mémoire, entraînement distribué et principales optimisations.
La seconde partie porte sur le finetuning, qui sert de base au TP qui suit.
Au programme
- 01Pré-entraînement
- 02Quantification
- 03Optimisation matérielle
- 04Finetuning supervisé (SFT)
- 05Finetuning à faible coût (LoRA)