Accelerate documentation

Utilitas DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas DeepSpeed

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

Membuang

ValueError

  • ValueError β€” Jika DeepSpeed tidak diaktifkan dan fungsi ini dipanggil.

Mengembalikan DeepSpeedPlugin yang saat ini aktif.

kelas accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

Parameter

  • hf_ds_config (Any, defaultnya None) β€” Path ke file konfigurasi DeepSpeed atau dict atau objek dari kelas accelerate.utils.deepspeed.HfDeepSpeedConfig.
  • gradient_accumulation_steps (int, defaultnya None) β€” Jumlah langkah untuk mengakumulasi gradien sebelum memperbarui status optimizer. Jika tidak diatur, akan menggunakan nilai langsung dari Accelerator.
  • gradient_clipping (float, defaultnya None) β€” Aktifkan pemotongan gradien dengan nilai.
  • zero_stage (int, defaultnya None) β€” Pilihan yang tersedia adalah 0, 1, 2, 3. Nilai default akan diambil dari variabel lingkungan.
  • is_train_batch_min (bool, defaultnya True) β€” Jika kedua dataloader train & eval ditentukan, ini akan menentukan train_batch_size.
  • offload_optimizer_device (str, defaultnya None) β€” Pilihan yang tersedia adalah none|cpu|nvme. Hanya berlaku dengan ZeRO Stages 2 dan 3.
  • offload_param_device (str, defaultnya None) β€” Pilihan yang tersedia adalah none|cpu|nvme. Hanya berlaku dengan ZeRO Stage 3.
  • offload_optimizer_nvme_path (str, defaultnya None) β€” Pilihan yang tersedia adalah /nvme|/local_nvme. Hanya berlaku dengan ZeRO Stage 3.
  • offload_param_nvme_path (str, defaultnya None) β€” Pilihan yang tersedia adalah /nvme|/local_nvme. Hanya berlaku dengan ZeRO Stage 3.
  • zero3_init_flag (bool, defaultnya None) β€” Flag untuk menunjukkan apakah model 16-bit akan disimpan. Hanya berlaku dengan ZeRO Stage-3.
  • zero3_save_16bit_model (bool, defaultnya None) β€” Flag untuk menunjukkan apakah model 16-bit akan disimpan. Hanya berlaku dengan ZeRO Stage-3.
  • transformer_moe_cls_names (str, defaultnya None) β€” Daftar nama kelas layer MoE Transformers yang dipisahkan koma (peka huruf besar/kecil). Misalnya, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock, dan sebagainya.

Plugin ini digunakan untuk mengintegrasikan DeepSpeed.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

Proses konfigurasi DeepSpeed dengan nilai dari kwargs.

pilih

< >

( _from_accelerator_state: bool = False )

Mengatur HfDeepSpeedWeakref untuk menggunakan konfigurasi plugin deepspeed saat ini

kelas accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

Parameter

  • optimizer (torch.optim.optimizer.Optimizer) β€” Optimizer yang akan dibungkus.
  • total_num_steps (int, opsional) β€” Jumlah total langkah.
  • warmup_num_steps (int, opsional) β€” Jumlah langkah untuk warmup.
  • lr_scheduler_callable (callable, opsional) β€” Fungsi callable yang membuat LR Scheduler. Fungsi ini hanya menerima satu argumen, yaitu optimizer.
  • **kwargs (argumen kata kunci tambahan, opsional) β€” Argumen lainnya.

Dummy scheduler menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi scheduler ditentukan dalam file konfigurasi deepspeed.

DeepSpeedEnginerWrapper

kelas accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

Parameter

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) β€” deepspeed engine yang akan dibungkus

Wrapper internal untuk deepspeed.runtime.engine.DeepSpeedEngine. Ini digunakan untuk mengikuti loop pelatihan konvensional.

get_global_grad_norm

< >

( )

Dapatkan norma gradien global dari mesin DeepSpeed.

DeepSpeedOptimizerWrapper

kelas accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

Parameter

  • optimizer (torch.optim.optimizer.Optimizer) β€” Optimizer yang akan dibungkus.

Wrapper internal untuk optimizer deepspeed.

DeepSpeedSchedulerWrapper

kelas accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

Parameter

  • scheduler (torch.optim.lr_scheduler.LambdaLR) β€” Scheduler yang akan dibungkus.
  • optimizers (satu atau daftar torch.optim.Optimizer) β€”

Wrapper internal di sekitar scheduler deepspeed.

DummyOptim

kelas accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

Parameter

  • lr (float) β€” Learning rate.
  • params (iterable) β€” iterable dari parameter untuk dioptimalkan atau dicts yang mendefinisikan grup parameter
  • weight_decay (float) β€” Weight decay.
  • **kwargs (argumen kata kunci tambahan, opsional) β€” Argumen lainnya.

Dummy optimizer menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi optimizer ditentukan dalam file konfigurasi deepspeed.

DummyScheduler

Update on GitHub