Accelerate documentation

Утилиты DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Утилиты DeepSpeed

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

Исключения

ValueError

  • ValueError — если DeepSpeed не был включен, а эта функция была вызвана.

Возвращает текущий активный DeepSpeedPlugin.

класс accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

Параметры

  • hf_ds_config (Any, по умолчанию None) — Путь к файлу конфигурации DeepSpeed, словарь или объект класса accelerate.utils.deepspeed.HfDeepSpeedConfig.
  • gradient_accumulation_steps (int, по умолчанию None) — Количество шагов для накопления градиентов перед обновлением состояний оптимизатора. Если не задано, будет использовано значение из Accelerator напрямую.
  • gradient_clipping (float, по умолчанию None) — Включает обрезание градиентов с указанным значением.
  • zero_stage (int, по умолчанию None) — Допустимые значения: 0, 1, 2, 3. По умолчанию значение берётся из переменной окружения.
  • is_train_batch_min (bool, по умолчанию True) — Если указаны оба загрузчика данных для обучения и оценки, этот параметр определяет train_batch_size.
  • offload_optimizer_device (str, по умолчанию None) — Допустимые значения: none|cpu|nvme. Применимо только для ZeRO Stages 2 и 3.
  • offload_param_device (str, по умолчанию None) — Допустимые значения: none|cpu|nvme. Применимо только для ZeRO Stage 3.
  • offload_optimizer_nvme_path (str, по умолчанию None) — Допустимые значения: /nvme|/local_nvme. Применимо только для ZeRO Stage 3.
  • offload_param_nvme_path (str, по умолчанию None) — Допустимые значения: /nvme|/local_nvme. Применимо только для ZeRO Stage 3.
  • zero3_init_flag (bool, по умолчанию None) — Флаг, указывающий, следует ли сохранять модель в 16-битном формате. Применимо только для ZeRO Stage-3.
  • zero3_save_16bit_model (bool, по умолчанию None) — Флаг, указывающий, следует ли сохранять модель в 16-битном формате. Применимо только для ZeRO Stage-3.
  • transformer_moe_cls_names (str, по умолчанию None) — Список имён классов MoE-слоёв Transformers, разделённых запятыми (с учётом регистра). Например, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock и т. д.

Этот плагин используется для интеграции DeepSpeed.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

Обработайте конфигурацию DeepSpeed с значениями из kwargs.

select

< >

( _from_accelerator_state: bool = False )

Устанавливает HfDeepSpeedWeakref для использования текущей конфигурации плагина deepspeed

класс accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

Параметры

  • optimizer (torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть.
  • total_num_steps (int, необязательный) — Общее количество шагов.
  • warmup_num_steps (int, необязательный) — Количество шагов для разгона.
  • lr_scheduler_callable (callable, необязательный) — Вызываемая функция, создающая планировщик скорости обучения. Принимает только один аргумент optimizer.
  • **kwargs (дополнительные именованные аргументы, необязательный) — Другие аргументы.

Dummy scheduler представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация планировщика указана в файле конфигурации deepspeed.

DeepSpeedEnginerWrapper

класс accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

Параметры

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — движок DeepSpeed для обёртки

Внутренний обёрточный класс для deepspeed.runtime.engine.DeepSpeedEngine. Используется для следования стандартному циклу обучения.

get_global_grad_norm

< >

( )

Получите глобальную норму градиента из движка DeepSpeed.

DeepSpeedOptimizerWrapper

класс accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

Параметры

  • optimizer (torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть.

Внутренняя обёртка вокруг оптимизатора deepspeed.

DeepSpeedSchedulerWrapper

класс accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

Параметры

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — Обёртка для планировщика.
  • optimizers (один или список torch.optim.Optimizer) —

Внутренняя обёртка вокруг планировщика deepspeed.

DummyOptim

класс accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

Параметры

  • lr (float) — Коэффициент обучения.
  • params (iterable) — итерируемый объект с параметрами для оптимизации или словарями, определяющими группы параметров
  • weight_decay (float) — Коэффициент затухания весов.
  • **kwargs (дополнительные именованные аргументы, необязательный) — Другие аргументы.

Dummy optimizer представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация оптимизатора указана в файле конфигурации deepspeed.

DummyScheduler

Update on GitHub