Transformers documentation
Utilisation de la mémoire GPU
Utilisation de la mémoire GPU
Entraîner un modèle de 4 milliards de paramètres en précision mixte avec une taille de lot de 16 nécessite environ 85 Go de mémoire GPU. Comprendre ce qui occupe la mémoire GPU et les opérations de calcul effectuées pendant l’entraînement permet d’identifier où réduire votre consommation de mémoire.
┌─────────────────────────── TENSORS ──────────────────────────────────┐ │ │ │ MODEL WEIGHTS ████████████████████████ 6 bytes/param │ │ (mixed precision) ├── fp16 copy (2B) — forward/backward pass │ │ └── fp32 copy (4B) — stable weight updates │ │ │ │ OPTIMIZER STATES ████████████████████████████████ 8 bytes/param │ │ (Adam) ├── fp32 momentum (4B) │ │ └── fp32 variance (4B) │ │ ↳ quantized Adam (bitsandbytes) → 2 bytes/param │ │ │ │ GRADIENTS ████████████████ 4 bytes/param (fp32) │ │ └── computed in backward pass, per parameter │ │ │ │ ACTIVATIONS ████ varies — batch × seq_len × depth × hidden │ │ (forward cache) └── cached for backward; can OOM even if model │ │ fits (long seqs / large batches) │ │ bf16/fp16 if using mixed precision │ │ │ │ TEMPORARY TENSORS ▓ short-lived (softmax, matmul scratch) │ │ └── peak spikes can cause OOM │ │ │ │ OTHER OVERHEAD ▒ beam search caches, large embedding tables │ └──────────────────────────────────────────────────────────────────────┘
La mémoire GPU contient deux catégories d’éléments : les tenseurs stockés et les opérations qui les traitent.
Tenseurs
L'entraînement nécessite et génère de nombreux types de tenseurs qui doivent être stockés.
Les poids du modèle sont stockés sur le GPU. Lors de l'entraînement en précision mixte, deux copies des poids sont nécessaires : une en fp16 pour le passage avant/arrière et une en fp32 en tant que « copie principale » pour des mises à jour des poids stables. Cela équivaut à 6 octets par paramètre.
Les états d’optimiseur tels que Adam stockent deux tenseurs supplémentaires par paramètre, l’élan et la variance, tous deux en fp32. Cela représente 8 octets supplémentaires par paramètre.
Vous pouvez utiliser un autre optimiseur, comme une version quantifiée d'Adam de bitsandbytes, pour le compresser à 2 octets par paramètre.
Les tenseurs de gradient sont calculés pour chaque paramètre lors de la rétropropagation. Ils sont conservés en fp32, ce qui représente 4 octets par paramètre.
Les activations en avant sont calculées lors de la passe avant et mises en cache pour la passe arrière afin de calculer les gradients. La taille de ces activations varie en fonction de la taille du lot, de la longueur de la séquence, de la profondeur du modèle et de la taille cachée. C'est pourquoi la taille du lot ou la longueur de la séquence peut épuiser la mémoire GPU, même si le modèle lui-même tient dans la mémoire.
Les tenseurs temporaires sont créés par des opérations telles que softmax et les multiplications de matrices, puis libérés après chaque opération. Si le pic d'une seule opération est très intensif, il peut provoquer une pointe temporaire qui entraîne un épuisement de la mémoire.
Certaines fonctionnalités ajoutent leur propre surcharge. Par exemple, la recherche par faisceaux (beam search) maintient plusieurs sorties, et les tables d’incorporation (embedding) pour de grands vocabulaires peuvent être très volumineuses.
Ops
Il existe trois principaux types d'opérations d'entraînement.
Les multiplications de matrices (matmuls) constituent le type d’opération principal, couvrant les couches linéaires, les projections QKV, les projections de sortie de l’attention et les couches FFN. Les principaux consommateurs de mémoire sont les matrices de scores d’attention, dont la taille croît avec le carré de la longueur de la séquence. C’est pourquoi les séquences longues sont si coûteuses et pourquoi différents backends d’attention existent afin d’éviter de matérialiser la matrice complète en mémoire.
Les opérations de réduction, telles que softmax et layer norm, lisent un tenseur complet, calculent une statistique le long d'une dimension, puis relisent le tenseur pour l'appliquer. Cela nécessite d'accéder à la mémoire plusieurs fois par opération.
Les opérations élément par élément, telles que les activations et le dropout, appliquent une fonction à chaque élément indépendamment et leur consommation mémoire est proportionnelle à la taille du tenseur.
Étapes suivantes
- Consultez le guide Gradient accumulation pour apprendre à simuler l’entraînement sur une taille de lot effective plus grande sans épuiser la mémoire GPU.
- Consultez le guide Gradient checkpointing pour apprendre à réduire l’utilisation de la mémoire en ne stockant que certaines activations intermédiaires.
- Consultez le guide Entraînement en précision mixte pour apprendre à utiliser des types de données de précision inférieure afin de réduire la mémoire et d’accélérer l’entraînement.
- Consultez le guide Kernels pour apprendre à accélérer l’entraînement à l’aide de noyaux fusionnés personnalisés.