Accelerate documentation
Mécanismes internes d’Accelerate
Mécanismes internes d’Accelerate
En interne, Accelerate fonctionne en analysant d’abord l’environnement dans lequel le script est lancé afin de déterminer le type de configuration distribuée utilisée, le nombre de processus distincts et dans lequel d’entre eux se trouve le script actuel. Toutes ces informations sont stockées dans ~AcceleratorState.
Cette classe est initialisée la première fois que vous instanciez un ~Accelerator, ainsi que lors de l’exécution de toute initialisation spécifique dont votre configuration distribuée a besoin. Son état est ensuite partagé de manière unique à travers toutes les instances de AcceleratorState. (La même chose peut également être faite avec le PartialState, une version plus épurée dont il hérite)
Ensuite, lors de l'appel de prepare(), la bibliothèque :
- enveloppe votre/vos modèle(s) dans le conteneur adapté à la configuration distribuée,
- enveloppe votre/vos optimiseur(s) dans un AcceleratedOptimizer,
- enveloppe votre/vos planificateur(s) dans un AcceleratedScheduler
- crée une nouvelle version de votre ou vos dataloader(s) dans un DataLoaderShard ou un DataLoaderDispatcher
Bien que les modèles, les optimiseurs et les planificateurs soient simplement placés dans des enveloppes, les chargeurs de données sont recréés. Cela s’explique principalement par le fait que PyTorch n’autorise pas l’utilisateur à modifier le batch_sampler d’un chargeur de données une fois celui-ci créé, et que la bibliothèque gère le fractionnement de vos données entre les processus en modifiant ce batch_sampler pour qu’il produise un lot sur num_processes (si activé).
La classe DataLoaderShard hérite de DataLoader pour ajouter les fonctionnalités suivantes :
- elle synchronise le générateur de nombres aléatoires approprié de tous les processus à chaque nouvelle itération, afin de garantir que toute aléatisation (comme le mélange) est effectuée de manière identique entre les processus.
- il place les lots sur l'appareil approprié avant de les restituer (sauf si vous avez désactivé
device_placement=True).
Les sous-classes de DataLoaderDispatcher diffèrent de DataLoaderShard en ce sens que, lors de l'itération sur le DataLoader, les données partent toutes du processus 0 puis sont ensuite découpées et envoyées à chaque processus, au lieu que cela se produise au niveau du jeu de données.
La synchronisation du générateur de nombres aléatoires synchronisera par défaut :
- l'attribut
generatord'un échantillonneur donné (commeRandomSamplerde PyTorch) pour PyTorch >= 1.6 - le générateur principal de nombres aléatoires dans PyTorch <=1.5.1
Vous pouvez choisir quel(s) générateur(s) de nombres aléatoires synchroniser à l’aide de l’argument rng_types de l’Accelerator principal. Dans PyTorch >= 1.6, il est recommandé de s’appuyer sur un generator local afin d’éviter de définir la même graine dans le générateur de nombres aléatoires principal de tous les processus.
La synchronisation du générateur de nombres aléatoires principal de torch (ou de CUDA ou de XLA) affectera d’autres artefacts aléatoires potentiels que vous pourriez avoir dans votre jeu de données (comme l’augmentation aléatoire des données), dans le sens où tous les processus obtiendront les mêmes nombres aléatoires des modules aléatoires de torch (ils appliqueront donc la même augmentation aléatoire des données si elle est contrôlée par torch).
La partie de randomisation de votre échantillonneur personnalisé, échantillonneur par lots ou jeu de données itérable doit être effectuée à l’aide d’un objet local
torch.Generator(dans PyTorch >= 1.6), voir le traditionnelRandomSamplercomme exemple.
Si vous avez installé torchdata>=0.8.0 et que vous avez passé use_stateful_dataloader=True dans votre DataLoaderConfiguration, ces classes hériteront directement de StatefulDataLoader et maintiendront un state_dict.
Pour plus de détails sur le fonctionnement interne, consultez la page sur le fonctionnement interne.
Update on GitHub