FLORIAN BASTIN
Toutes les séances

Cours 03

Large Language Models

Cette séance porte sur les grands modèles de langage : leur architecture, la génération de texte, le prompting et les principales techniques utilisées pour accélérer l'inférence.

Un fil conducteur relie les différents sujets : le coût du calcul et de la mémoire.

Au programme
  1. 01Définition et architecture
  2. 02Mixture of experts
  3. 03Longueur de contexte, température
  4. 04Stratégies d'échantillonnage
  5. 05Prompting, in-context learning
  6. 06Chain of thought
  7. 07Self-consistency