Accelerate documentation
Утилиты DeepSpeed
Утилиты DeepSpeed
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
Исключения
ValueError
ValueError— если DeepSpeed не был включен, а эта функция была вызвана.
Возвращает текущий активный DeepSpeedPlugin.
класс accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
Параметры
- hf_ds_config (
Any, по умолчаниюNone) — Путь к файлу конфигурации DeepSpeed, словарь или объект классаaccelerate.utils.deepspeed.HfDeepSpeedConfig. - gradient_accumulation_steps (
int, по умолчаниюNone) — Количество шагов для накопления градиентов перед обновлением состояний оптимизатора. Если не задано, будет использовано значение изAcceleratorнапрямую. - gradient_clipping (
float, по умолчаниюNone) — Включает обрезание градиентов с указанным значением. - zero_stage (
int, по умолчаниюNone) — Допустимые значения: 0, 1, 2, 3. По умолчанию значение берётся из переменной окружения. - is_train_batch_min (
bool, по умолчаниюTrue) — Если указаны оба загрузчика данных для обучения и оценки, этот параметр определяетtrain_batch_size. - offload_optimizer_device (
str, по умолчаниюNone) — Допустимые значения: none|cpu|nvme. Применимо только для ZeRO Stages 2 и 3. - offload_param_device (
str, по умолчаниюNone) — Допустимые значения: none|cpu|nvme. Применимо только для ZeRO Stage 3. - offload_optimizer_nvme_path (
str, по умолчаниюNone) — Допустимые значения: /nvme|/local_nvme. Применимо только для ZeRO Stage 3. - offload_param_nvme_path (
str, по умолчаниюNone) — Допустимые значения: /nvme|/local_nvme. Применимо только для ZeRO Stage 3. - zero3_init_flag (
bool, по умолчаниюNone) — Флаг, указывающий, следует ли сохранять модель в 16-битном формате. Применимо только для ZeRO Stage-3. - zero3_save_16bit_model (
bool, по умолчаниюNone) — Флаг, указывающий, следует ли сохранять модель в 16-битном формате. Применимо только для ZeRO Stage-3. - transformer_moe_cls_names (
str, по умолчаниюNone) — Список имён классов MoE-слоёв Transformers, разделённых запятыми (с учётом регистра). Например,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlockи т. д.
Этот плагин используется для интеграции DeepSpeed.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
Обработайте конфигурацию DeepSpeed с значениями из kwargs.
Устанавливает HfDeepSpeedWeakref для использования текущей конфигурации плагина deepspeed
класс accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Параметры
- optimizer (
torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть. - total_num_steps (int, необязательный) — Общее количество шагов.
- warmup_num_steps (int, необязательный) — Количество шагов для разгона.
- lr_scheduler_callable (callable, необязательный) —
Вызываемая функция, создающая планировщик скорости обучения. Принимает только один аргумент
optimizer. - **kwargs (дополнительные именованные аргументы, необязательный) — Другие аргументы.
Dummy scheduler представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация планировщика указана в файле конфигурации deepspeed.
DeepSpeedEnginerWrapper
класс accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
Внутренний обёрточный класс для deepspeed.runtime.engine.DeepSpeedEngine. Используется для следования стандартному циклу обучения.
Получите глобальную норму градиента из движка DeepSpeed.
DeepSpeedOptimizerWrapper
класс accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
Внутренняя обёртка вокруг оптимизатора deepspeed.
DeepSpeedSchedulerWrapper
класс accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
Внутренняя обёртка вокруг планировщика deepspeed.
DummyOptim
класс accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
Dummy optimizer представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация оптимизатора указана в файле конфигурации deepspeed.