Accelerate documentation
Внутренние механизмы Accelerate
Внутренние механизмы Accelerate
Внутри Accelerate работает следующим образом: сначала анализируется среда, в которой запускается скрипт, чтобы определить, какой тип распределённой конфигурации используется, сколько существует различных процессов и в каком из них выполняется текущий скрипт. Вся эта информация хранится в ~AcceleratorState.
Этот класс инициализируется при первом создании экземпляра ~Accelerator, а также выполняет любую специфическую инициализацию, необходимую для вашей распределённой конфигурации. Его состояние затем уникально разделяется между всеми экземплярами AcceleratorState. (То же самое можно сделать и с PartialState, более упрощённой версией, от которой он наследуется)
Затем при вызове prepare() библиотека:
- оборачивает вашу модель (или модели) в контейнер, адаптированный для распределённой конфигурации,
- оборачивает ваш(и) оптимизатор(ы) в AcceleratedOptimizer,
- оборачивает ваш(и) планировщик(и) в AcceleratedScheduler
- создаёт новую версию вашего(их) загрузчика(ов) данных в DataLoaderShard или DataLoaderDispatcher
Хотя модели, оптимизаторы и планировщики просто помещаются в простые обёртки, загрузчики данных пересоздаются. Это в основном связано с тем, что PyTorch не позволяет пользователю изменить batch_sampler загрузчика данных после его создания, а библиотека управляет распределением данных между процессами, изменяя этот batch_sampler так, чтобы он выдавал каждую вторую партию из num_processes (если эта функция включена).
Класс DataLoaderShard наследуется от DataLoader и добавляет следующую функциональность:
- Он синхронизирует соответствующий генератор случайных чисел всех процессов на каждой новой итерации, чтобы любая рандомизация (например, перемешивание) выполнялась абсолютно одинаково во всех процессах.
- перед возвратом батчей он перемещает их на соответствующее устройство (если вы не отключили
device_placement=True).
Подклассы DataLoaderDispatcher отличаются от DataLoaderShard тем, что при итерации по DataLoader данные сначала загружаются из процесса 0, а затем разбиваются и отправляются в каждый процесс, а не на уровне набора данных.
Синхронизация генератора случайных чисел по умолчанию синхронизирует:
- атрибут
generatorданного сэмплера (например,RandomSamplerиз PyTorch) для PyTorch >= 1.6 - основной генератор случайных чисел в PyTorch <=1.5.1
Вы можете выбрать, с какими генераторами случайных чисел синхронизироваться, с помощью аргумента rng_types основного объекта Accelerator. В PyTorch >= 1.6 рекомендуется полагаться на локальный generator, чтобы избежать установки одного и того же seed в основном генераторе случайных чисел во всех процессах.
Синхронизация основного генератора случайных чисел torch (или CUDA или XLA) повлияет на любые другие потенциальные случайные артефакты, которые могут присутствовать в вашем наборе данных (например, случайное аугментация данных), в том смысле, что все процессы будут получать одинаковые случайные числа из случайных модулей torch (и, следовательно, будут применять одинаковую случайную аугментацию данных, если она контролируется torch).
Случайная часть вашего пользовательского сэмплера, батч-сэмплера или итерируемого датасета должна выполняться с помощью локального объекта
torch.Generator(в PyTorch >= 1.6), см. традиционныйRandomSamplerв качестве примера.
Если у вас установлен torchdata>=0.8.0, и вы передали use_stateful_dataloader=True в свой DataLoaderConfiguration, эти классы будут напрямую наследоваться от StatefulDataLoader и поддерживать state_dict.
Для получения подробной информации о внутренней реализации см. страницу Internals.
Update on GitHub