Accelerate documentation

Внутренние механизмы Accelerate

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Внутренние механизмы Accelerate

Внутри Accelerate работает следующим образом: сначала анализируется среда, в которой запускается скрипт, чтобы определить, какой тип распределённой конфигурации используется, сколько существует различных процессов и в каком из них выполняется текущий скрипт. Вся эта информация хранится в ~AcceleratorState.

Этот класс инициализируется при первом создании экземпляра ~Accelerator, а также выполняет любую специфическую инициализацию, необходимую для вашей распределённой конфигурации. Его состояние затем уникально разделяется между всеми экземплярами AcceleratorState. (То же самое можно сделать и с PartialState, более упрощённой версией, от которой он наследуется)

Затем при вызове prepare() библиотека:

  • оборачивает вашу модель (или модели) в контейнер, адаптированный для распределённой конфигурации,
  • оборачивает ваш(и) оптимизатор(ы) в AcceleratedOptimizer,
  • оборачивает ваш(и) планировщик(и) в AcceleratedScheduler
  • создаёт новую версию вашего(их) загрузчика(ов) данных в DataLoaderShard или DataLoaderDispatcher

Хотя модели, оптимизаторы и планировщики просто помещаются в простые обёртки, загрузчики данных пересоздаются. Это в основном связано с тем, что PyTorch не позволяет пользователю изменить batch_sampler загрузчика данных после его создания, а библиотека управляет распределением данных между процессами, изменяя этот batch_sampler так, чтобы он выдавал каждую вторую партию из num_processes (если эта функция включена).

Класс DataLoaderShard наследуется от DataLoader и добавляет следующую функциональность:

  • Он синхронизирует соответствующий генератор случайных чисел всех процессов на каждой новой итерации, чтобы любая рандомизация (например, перемешивание) выполнялась абсолютно одинаково во всех процессах.
  • перед возвратом батчей он перемещает их на соответствующее устройство (если вы не отключили device_placement=True).

Подклассы DataLoaderDispatcher отличаются от DataLoaderShard тем, что при итерации по DataLoader данные сначала загружаются из процесса 0, а затем разбиваются и отправляются в каждый процесс, а не на уровне набора данных.

Синхронизация генератора случайных чисел по умолчанию синхронизирует:

  • атрибут generator данного сэмплера (например, RandomSampler из PyTorch) для PyTorch >= 1.6
  • основной генератор случайных чисел в PyTorch <=1.5.1

Вы можете выбрать, с какими генераторами случайных чисел синхронизироваться, с помощью аргумента rng_types основного объекта Accelerator. В PyTorch >= 1.6 рекомендуется полагаться на локальный generator, чтобы избежать установки одного и того же seed в основном генераторе случайных чисел во всех процессах.

Синхронизация основного генератора случайных чисел torch (или CUDA или XLA) повлияет на любые другие потенциальные случайные артефакты, которые могут присутствовать в вашем наборе данных (например, случайное аугментация данных), в том смысле, что все процессы будут получать одинаковые случайные числа из случайных модулей torch (и, следовательно, будут применять одинаковую случайную аугментацию данных, если она контролируется torch).

Случайная часть вашего пользовательского сэмплера, батч-сэмплера или итерируемого датасета должна выполняться с помощью локального объекта torch.Generator (в PyTorch >= 1.6), см. традиционный RandomSampler в качестве примера.

Если у вас установлен torchdata>=0.8.0, и вы передали use_stateful_dataloader=True в свой DataLoaderConfiguration, эти классы будут напрямую наследоваться от StatefulDataLoader и поддерживать state_dict.

Для получения подробной информации о внутренней реализации см. страницу Internals.

Update on GitHub