Accelerate documentation

FSDP и DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP и DeepSpeed

Accelerate обеспечивает гибкость в выборе фреймворков обучения, интегрируя два мощных инструмента для распределённого обучения: Pytorch FSDP и Microsoft DeepSpeed. Цель данного туториала — провести параллели и указать на возможные различия между ними, чтобы пользователь мог бесшовно переключаться между этими двумя фреймворками.

Для переключения между фреймворками мы рекомендуем запускать код accelerate launch, передавая правильный файл конфигурации с помощью --config_file, либо передавая соответствующие аргументы напрямую для FSDP и DeepSpeed.

Примеры конфигураций Accelerate для DeepSpeed и FSDP можно найти здесь, а также в example zoo в разделе “Launch Configurations”

Этот учебник предназначен только для сценариев с одним узлом и несколькими GPU.

Настройка функциональности

Тензоры модели распределяются по разным GPU с целью масштабирования размера модели; в FSDP это называется шардированием, а в DeepSpeed — разбиением. Стратегии шардирования FSDP и стадии ZeRO (разбиения) DeepSpeed настраиваются с помощью --fsdp_sharding_strategy и --zero_stage соответственно. В частности, FULL_SHARD в FSDP соответствует стадии 3 ZeRO в DeepSpeed; см. это подробное соответствие между настройками шардирования FSDP и ZeRO DeepSpeed. В таблице ниже обобщены и сгруппированы аналогичные настройки:

ГруппаФреймворкКонфигурацияПримерОграничения (если есть)
sharding / partitioningFSDP
DeepSpeed
--fsdp_sharding_strategy
--zero_stage
1 (FULL_SHARD)
3
offloadFSDP
DeepSpeed
--fsdp_offload_params
--offload_param_device
--offload_optimizer_device
true
cpu
cpu
всё или ничего

загрузка моделиFSDP
DeepSpeed
--fsdp_cpu_ram_efficient_loading
--zero3_init_flag
true
true

только ZeRO 3
эффективное сохранение контрольных точекFSDP
DeepSpeed
--fsdp_state_dict_type
--zero3_save_16bit_model
SHARDED_STATE_DICT
true

только ZeRO 3
предварительная загрузка весовFSDP

DeepSpeed
--fsdp_forward_prefetch
--fsdp_backward_prefetch
None
true
BACKWARD_PRE


модельFSDP

DeepSpeed
--fsdp_auto_wrap_policy
--fsdp_transformer_layer_cls_to_wrap
None
TRANSFORMER_BASED_WRAP
<Класс слоя>

Обычно не требуется
Прозрачно для пользователя.
параметры summoningFSDP
DeepSpeed
--fsdp_use_orig_params
None
trueнеобходим для torch.compile
Прозрачно для пользователя
синхронизация параметровFSDP
DeepSpeed
--fsdp_sync_module_states
None
true
обучениеFSDP
DeepSpeed
None
--gradient_accumulation_steps
--gradient_clipping

auto
auto
Прозрачно для пользователя

Подробные описания вышеприведенного см. в документации запуска Accelerate.

Чтобы получить доступ к другим конфигурациям DeepSpeed, например к настройкам смешанной точности, необходимо передать --deepspeed_config_file, см. документацию.

DeepSpeed также можно настроить с помощью DeepSpeedPlugin, например, DeepSpeedPlugin.zero_stage эквивалентно --zero_stage, а DeepSpeedPlugin.hf_ds_config можно использовать для передачи --deepeed_config_file.

FSDP также можно настроить с помощью FullyShardedDataParallelPlugin, например, FullyShardedDataParallelPlugin.sharding_strategy эквивалентно --fsdp_sharding_strategy.

Создание контрольных точек

Обратите внимание, что FSDP можно настроить с помощью --fsdp_state_dict_type для сохранения полных или разбитых контрольных точек.

Для DeepSpeed Zero3 можно передать --zero3_save_16bit_model true, что удобно объединяет модель на одном ранке и сохраняет её; это аналог FSDP для fsdp_state_dict_type: FULL_STATE_DICT.

Для больших моделей консолидация модели на одном ранке может быть очень медленной.

Для более быстрого сохранения контрольных точек используйте fsdp_state_dict_type: SHARDED_STATE_DICT для FSDP, а для DeepSpeed Zero3 — скрипт zero_to_fp32.py для последующей конвертации разбитых контрольных точек.

Выгрузка

FSDP допускает только полное или полное отсутствие выгрузки (то есть либо выгружаются параметры, градиенты и оптимизатор, либо все они остаются на GPU), тогда как DeepSpeed позволяет выгружать параметры и оптимизатор по-разному. Кроме того, DeepSpeed также поддерживает выгрузку на NVME.

Предварительная загрузка

FSDP позволяет использовать две конфигурации предварительной загрузки --fsdp_forward_prefetch и --fsdp_backward_prefetch для улучшения перекрытия коммуникаций и вычислений ценой дополнительного потребления памяти, см. документацию FSDP. Для DeepSpeed предварительная загрузка включается по мере необходимости, и её активация зависит от определённых гиперпараметров, таких как stage3_param_persistence_threshold, stage3_max_reuse_distance и т. д., которые можно настроить для Zero3; accelerate может автоматически устанавливать эти гиперпараметры, если вы не задали их явно в файле конфигурации deepspeed.

Для FSDP установите fsdp_backward_prefetch: BACKWARD_PRE для повышения пропускной способности, если это позволяет доступная память.

Загрузка модели

В то время как для FSDP требуется явно указать --fsdp_cpu_ram_efficient_loading true, чтобы включить эффективную загрузку модели, transformers автоматически активирует аналогичную функцию при использовании DeepSpeed Zero3.

Для FSDP, при установке --fsdp_cpu_ram_efficient_loading true, accelerate автоматически устанавливает sync_module_states в true. Для экономичной загрузки по RAM веса загружаются только на одном ранке, поэтому требуется sync_module_states для рассылки весов на другие ранки.

Модель

FSDP требует явного указания --fsdp_auto_wrap_policy, чтобы алгоритм мог определить, как планировать операции all-gather и reduce-scatter. Однако в случае с DeepSpeed этот процесс прозрачен для пользователя.

Для FSDP достаточно установить fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. В последних версиях transformers мы делаем всё возможное, чтобы подобрать подходящий fsdp_transformer_layer_cls_to_wrap для моделей HF transformers. Однако, если вы получаете ошибку, связанную с этим параметром, укажите его явно.

Параметры вызова

Для использования torch.compile FSDP требует явного указания флага --fsdp_use_orig_params, см. документацию PyTorch. Для DeepSpeed этот процесс прозрачен для пользователя.

Для FSDP при использовании torch.compile установите fsdp_use_orig_params: True.

Обучение

Deepspeed требует явного указания флагов --gradient_accumulation_steps и --gradient_clipping. Для FSDP это прозрачно для пользователя.

При использовании DeepSpeed установите gradient_accumulation_steps: "auto" и gradient_clipping: "auto", чтобы автоматически подхватить значения, заданные в Accelerator или TrainingArguments (если используется transformers).

О различиях в обработке точности данных

Чтобы обсудить, как обрабатывается точность данных в FSDP и DeepSpeed, полезно сначала рассмотреть, как в этих фреймворках обрабатываются параметры модели. До того как параметры модели и оптимизатора распределяются по GPU, выполняется их подготовка: сначала они «выравниваются» в одномерные torch.Tensor. Реализации FSDP и DeepSpeed различаются тем, в каком dtype хранятся эти «выровненные» параметры, что влияет на то, как torch.Optimizer выделяет свои dtype. В таблице ниже описаны процессы для обоих фреймворков; столбец «Local» указывает на процесс, происходящий на уровне каждого GPU, поэтому любые накладные расходы памяти, связанные с повышением точности, следует понимать как распределяемые по количеству используемых GPU.

Как правило, для стабильного обучения с автоматическим смешанным прецизионным вычислением все обучаемые параметры должны быть в формате torch.float32.

ПроцессЛокальноФреймворкДетали
Загрузка, то есть AutoModel.from_pretrained(..., torch_dtype=torch_dtype)
Подготовка, то есть создание «плоских параметров»✅FSDP
DeepSpeed
создан в torch_dtype.
игнорирует torch_dtype, создан в float32.
Инициализация оптимизатора✅FSDP
DeepSpeed
создаёт параметры в torch_dtype
создаёт параметры в float32
Шаг обучения, то есть прямой проход, обратный проход, редукцияFSDP
DeepSpeed
следует MixedPrecision
следует настройкам смешанной точности из deepspeed_config_file.
Оптимизатор (до шага)✅FSDP
DeepSpeed
апгрейд (если есть) до torch_dtype
апгрейд до float32
Оптимизатор (Фактический шаг)✅FSDP
DeepSpeed
происходит в torch_dtype
происходит в float32.

Поэтому при использовании DeepSpeed с небольшим количеством GPU учитывайте, что повышение точности при подготовке может привести к значительному увеличению потребления памяти.

При использовании FSDP, в отсутствие смешанной точности, можно работать с torch.Optimizer в низкой точности torch_dtype, что может быть полезно при использовании небольшого количества GPU.

При смешанной точности FSDP и DeepSpeed выполняют приведение к более высокой точности на этапе подготовки модели (см. таблицу выше). Однако обратите внимание, что FSDP будет сохранять контрольные точки в повышенной точности, тогда как DeepSpeed может по-прежнему сохранять контрольные точки в пониженной точности, если указан параметр --zero3_save_16bit_model.

Для прояснения приведённой выше таблицы рассмотрим конкретные примеры ниже; шаги оптимизатора до и после обновления объединены для краткости. В FSDP возможно работать в двух режимах, показанных ниже, тогда как DeepSpeed поддерживает только один.

ФреймворкЗагрузка модели (torch_dtype)Смешанная точностьПодготовка (локальная)ОбучениеОптимизатор (локальный)
FSDPbf16по умолчанию (none)bf16bf16bf16
FSDPbf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32
Update on GitHub