Le Transformer

On commence par les principales tâches du NLP et les architectures utilisées avant les Transformers. On verra ensuite pourquoi les réseaux récurrents sont limités sur les dépendances longues, puis comment fonctionne l'attention et comment elle mène à l'architecture Transformer.