Accelerate documentation
FSDP и DeepSpeed
FSDP и DeepSpeed
Accelerate обеспечивает гибкость в выборе фреймворков обучения, интегрируя два мощных инструмента для распределённого обучения: Pytorch FSDP и Microsoft DeepSpeed. Цель данного туториала — провести параллели и указать на возможные различия между ними, чтобы пользователь мог бесшовно переключаться между этими двумя фреймворками.
Для переключения между фреймворками мы рекомендуем запускать код
accelerate launch, передавая правильный файл конфигурации с помощью--config_file, либо передавая соответствующие аргументы напрямую для FSDP и DeepSpeed.Примеры конфигураций Accelerate для DeepSpeed и FSDP можно найти здесь, а также в example zoo в разделе “Launch Configurations”
Этот учебник предназначен только для сценариев с одним узлом и несколькими GPU.
Настройка функциональности
Тензоры модели распределяются по разным GPU с целью масштабирования размера модели; в FSDP это называется шардированием, а в DeepSpeed — разбиением. Стратегии шардирования FSDP и стадии ZeRO (разбиения) DeepSpeed настраиваются с помощью --fsdp_sharding_strategy и --zero_stage соответственно. В частности, FULL_SHARD в FSDP соответствует стадии 3 ZeRO в DeepSpeed; см. это подробное соответствие между настройками шардирования FSDP и ZeRO DeepSpeed. В таблице ниже обобщены и сгруппированы аналогичные настройки:
| Группа | Фреймворк | Конфигурация | Пример | Ограничения (если есть) |
|---|---|---|---|---|
| sharding / partitioning | FSDP DeepSpeed | --fsdp_sharding_strategy--zero_stage | 1 (FULL_SHARD) 3 | |
| offload | FSDP DeepSpeed | --fsdp_offload_params--offload_param_device--offload_optimizer_device | truecpucpu | всё или ничего |
| загрузка модели | FSDP DeepSpeed | --fsdp_cpu_ram_efficient_loading--zero3_init_flag | truetrue | только ZeRO 3 |
| эффективное сохранение контрольных точек | FSDP DeepSpeed | --fsdp_state_dict_type--zero3_save_16bit_model | SHARDED_STATE_DICTtrue | только ZeRO 3 |
| предварительная загрузка весов | FSDP DeepSpeed | --fsdp_forward_prefetch--fsdp_backward_prefetchNone | trueBACKWARD_PRE | |
| модель | FSDP DeepSpeed | --fsdp_auto_wrap_policy--fsdp_transformer_layer_cls_to_wrapNone | TRANSFORMER_BASED_WRAP<Класс слоя> | Обычно не требуется Прозрачно для пользователя. |
| параметры summoning | FSDP DeepSpeed | --fsdp_use_orig_paramsNone | true | необходим для torch.compileПрозрачно для пользователя |
| синхронизация параметров | FSDP DeepSpeed | --fsdp_sync_module_statesNone | true | |
| обучение | FSDP DeepSpeed | None--gradient_accumulation_steps--gradient_clipping | autoauto | Прозрачно для пользователя |
Подробные описания вышеприведенного см. в документации запуска Accelerate.
Чтобы получить доступ к другим конфигурациям DeepSpeed, например к настройкам смешанной точности, необходимо передать
--deepspeed_config_file, см. документацию.DeepSpeed также можно настроить с помощью DeepSpeedPlugin, например,
DeepSpeedPlugin.zero_stageэквивалентно--zero_stage, аDeepSpeedPlugin.hf_ds_configможно использовать для передачи--deepeed_config_file.
FSDP также можно настроить с помощью FullyShardedDataParallelPlugin, например,
FullyShardedDataParallelPlugin.sharding_strategyэквивалентно--fsdp_sharding_strategy.
Создание контрольных точек
Обратите внимание, что FSDP можно настроить с помощью --fsdp_state_dict_type для сохранения полных или разбитых контрольных точек.
Для DeepSpeed Zero3 можно передать
--zero3_save_16bit_model true, что удобно объединяет модель на одном ранке и сохраняет её; это аналог FSDP дляfsdp_state_dict_type: FULL_STATE_DICT.
Для больших моделей консолидация модели на одном ранке может быть очень медленной.
Для более быстрого сохранения контрольных точек используйте
fsdp_state_dict_type: SHARDED_STATE_DICTдля FSDP, а для DeepSpeed Zero3 — скриптzero_to_fp32.pyдля последующей конвертации разбитых контрольных точек.
Выгрузка
FSDP допускает только полное или полное отсутствие выгрузки (то есть либо выгружаются параметры, градиенты и оптимизатор, либо все они остаются на GPU), тогда как DeepSpeed позволяет выгружать параметры и оптимизатор по-разному. Кроме того, DeepSpeed также поддерживает выгрузку на NVME.
Предварительная загрузка
FSDP позволяет использовать две конфигурации предварительной загрузки --fsdp_forward_prefetch и --fsdp_backward_prefetch для улучшения перекрытия коммуникаций и вычислений ценой дополнительного потребления памяти, см. документацию FSDP.
Для DeepSpeed предварительная загрузка включается по мере необходимости, и её активация зависит от определённых гиперпараметров, таких как stage3_param_persistence_threshold, stage3_max_reuse_distance и т. д., которые можно настроить для Zero3; accelerate может автоматически устанавливать эти гиперпараметры, если вы не задали их явно в файле конфигурации deepspeed.
Для FSDP установите
fsdp_backward_prefetch: BACKWARD_PREдля повышения пропускной способности, если это позволяет доступная память.
Загрузка модели
В то время как для FSDP требуется явно указать --fsdp_cpu_ram_efficient_loading true, чтобы включить эффективную загрузку модели, transformers автоматически активирует аналогичную функцию при использовании DeepSpeed Zero3.
Для FSDP, при установке
--fsdp_cpu_ram_efficient_loading true,accelerateавтоматически устанавливаетsync_module_statesв true. Для экономичной загрузки по RAM веса загружаются только на одном ранке, поэтому требуетсяsync_module_statesдля рассылки весов на другие ранки.
Модель
FSDP требует явного указания --fsdp_auto_wrap_policy, чтобы алгоритм мог определить, как планировать операции all-gather и reduce-scatter. Однако в случае с DeepSpeed этот процесс прозрачен для пользователя.
Для FSDP достаточно установить
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. В последних версияхtransformersмы делаем всё возможное, чтобы подобрать подходящийfsdp_transformer_layer_cls_to_wrapдля моделей HF transformers. Однако, если вы получаете ошибку, связанную с этим параметром, укажите его явно.
Параметры вызова
Для использования torch.compile FSDP требует явного указания флага --fsdp_use_orig_params, см. документацию PyTorch. Для DeepSpeed этот процесс прозрачен для пользователя.
Для FSDP при использовании
torch.compileустановитеfsdp_use_orig_params: True.
Обучение
Deepspeed требует явного указания флагов --gradient_accumulation_steps и --gradient_clipping. Для FSDP это прозрачно для пользователя.
При использовании DeepSpeed установите
gradient_accumulation_steps: "auto"иgradient_clipping: "auto", чтобы автоматически подхватить значения, заданные в Accelerator илиTrainingArguments(если используетсяtransformers).
О различиях в обработке точности данных
Чтобы обсудить, как обрабатывается точность данных в FSDP и DeepSpeed, полезно сначала рассмотреть, как в этих фреймворках обрабатываются параметры модели. До того как параметры модели и оптимизатора распределяются по GPU, выполняется их подготовка: сначала они «выравниваются» в одномерные torch.Tensor. Реализации FSDP и DeepSpeed различаются тем, в каком dtype хранятся эти «выровненные» параметры, что влияет на то, как torch.Optimizer выделяет свои dtype. В таблице ниже описаны процессы для обоих фреймворков; столбец «Local» указывает на процесс, происходящий на уровне каждого GPU, поэтому любые накладные расходы памяти, связанные с повышением точности, следует понимать как распределяемые по количеству используемых GPU.
Как правило, для стабильного обучения с автоматическим смешанным прецизионным вычислением все обучаемые параметры должны быть в формате
torch.float32.
| Процесс | Локально | Фреймворк | Детали |
|---|---|---|---|
Загрузка, то есть AutoModel.from_pretrained(..., torch_dtype=torch_dtype) | |||
| Подготовка, то есть создание «плоских параметров» | ✅ | FSDP DeepSpeed | создан в torch_dtype.игнорирует torch_dtype, создан в float32. |
| Инициализация оптимизатора | ✅ | FSDP DeepSpeed | создаёт параметры в torch_dtypeсоздаёт параметры в float32 |
| Шаг обучения, то есть прямой проход, обратный проход, редукция | FSDP DeepSpeed | следует MixedPrecisionследует настройкам смешанной точности из deepspeed_config_file. | |
| Оптимизатор (до шага) | ✅ | FSDP DeepSpeed | апгрейд (если есть) до torch_dtypeапгрейд до float32 |
| Оптимизатор (Фактический шаг) | ✅ | FSDP DeepSpeed | происходит в torch_dtype происходит в float32. |
Поэтому при использовании DeepSpeed с небольшим количеством GPU учитывайте, что повышение точности при подготовке может привести к значительному увеличению потребления памяти.
При использовании FSDP, в отсутствие смешанной точности, можно работать с
torch.Optimizerв низкой точностиtorch_dtype, что может быть полезно при использовании небольшого количества GPU.
При смешанной точности FSDP и DeepSpeed выполняют приведение к более высокой точности на этапе подготовки модели (см. таблицу выше). Однако обратите внимание, что FSDP будет сохранять контрольные точки в повышенной точности, тогда как DeepSpeed может по-прежнему сохранять контрольные точки в пониженной точности, если указан параметр
--zero3_save_16bit_model.
Для прояснения приведённой выше таблицы рассмотрим конкретные примеры ниже; шаги оптимизатора до и после обновления объединены для краткости. В FSDP возможно работать в двух режимах, показанных ниже, тогда как DeepSpeed поддерживает только один.
| Фреймворк | Загрузка модели (torch_dtype) | Смешанная точность | Подготовка (локальная) | Обучение | Оптимизатор (локальный) |
|---|---|---|---|---|---|
| FSDP | bf16 | по умолчанию (none) | bf16 | bf16 | bf16 |
| FSDP | bf16 | bf16 | fp32 | bf16 | fp32 |
| DeepSpeed | bf16 | bf16 | fp32 | bf16 | fp32 |