Accelerate documentation
Utilitas DeepSpeed
Utilitas DeepSpeed
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
Membuang
ValueError
ValueErrorβ Jika DeepSpeed tidak diaktifkan dan fungsi ini dipanggil.
Mengembalikan DeepSpeedPlugin yang saat ini aktif.
kelas accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
Parameter
- hf_ds_config (
Any, defaultnyaNone) β Path ke file konfigurasi DeepSpeed atau dict atau objek dari kelasaccelerate.utils.deepspeed.HfDeepSpeedConfig. - gradient_accumulation_steps (
int, defaultnyaNone) β Jumlah langkah untuk mengakumulasi gradien sebelum memperbarui status optimizer. Jika tidak diatur, akan menggunakan nilai langsung dariAccelerator. - gradient_clipping (
float, defaultnyaNone) β Aktifkan pemotongan gradien dengan nilai. - zero_stage (
int, defaultnyaNone) β Pilihan yang tersedia adalah 0, 1, 2, 3. Nilai default akan diambil dari variabel lingkungan. - is_train_batch_min (
bool, defaultnyaTrue) β Jika kedua dataloader train & eval ditentukan, ini akan menentukantrain_batch_size. - offload_optimizer_device (
str, defaultnyaNone) β Pilihan yang tersedia adalah none|cpu|nvme. Hanya berlaku dengan ZeRO Stages 2 dan 3. - offload_param_device (
str, defaultnyaNone) β Pilihan yang tersedia adalah none|cpu|nvme. Hanya berlaku dengan ZeRO Stage 3. - offload_optimizer_nvme_path (
str, defaultnyaNone) β Pilihan yang tersedia adalah /nvme|/local_nvme. Hanya berlaku dengan ZeRO Stage 3. - offload_param_nvme_path (
str, defaultnyaNone) β Pilihan yang tersedia adalah /nvme|/local_nvme. Hanya berlaku dengan ZeRO Stage 3. - zero3_init_flag (
bool, defaultnyaNone) β Flag untuk menunjukkan apakah model 16-bit akan disimpan. Hanya berlaku dengan ZeRO Stage-3. - zero3_save_16bit_model (
bool, defaultnyaNone) β Flag untuk menunjukkan apakah model 16-bit akan disimpan. Hanya berlaku dengan ZeRO Stage-3. - transformer_moe_cls_names (
str, defaultnyaNone) β Daftar nama kelas layer MoE Transformers yang dipisahkan koma (peka huruf besar/kecil). Misalnya,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlock, dan sebagainya.
Plugin ini digunakan untuk mengintegrasikan DeepSpeed.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
Proses konfigurasi DeepSpeed dengan nilai dari kwargs.
Mengatur HfDeepSpeedWeakref untuk menggunakan konfigurasi plugin deepspeed saat ini
kelas accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Parameter
- optimizer (
torch.optim.optimizer.Optimizer) β Optimizer yang akan dibungkus. - total_num_steps (int, opsional) β Jumlah total langkah.
- warmup_num_steps (int, opsional) β Jumlah langkah untuk warmup.
- lr_scheduler_callable (callable, opsional) β
Fungsi callable yang membuat LR Scheduler. Fungsi ini hanya menerima satu argumen, yaitu
optimizer. - **kwargs (argumen kata kunci tambahan, opsional) β Argumen lainnya.
Dummy scheduler menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi scheduler ditentukan dalam file konfigurasi deepspeed.
DeepSpeedEnginerWrapper
kelas accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
Wrapper internal untuk deepspeed.runtime.engine.DeepSpeedEngine. Ini digunakan untuk mengikuti loop pelatihan konvensional.
Dapatkan norma gradien global dari mesin DeepSpeed.
DeepSpeedOptimizerWrapper
kelas accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
Wrapper internal untuk optimizer deepspeed.
DeepSpeedSchedulerWrapper
kelas accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
Wrapper internal di sekitar scheduler deepspeed.
DummyOptim
kelas accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
Dummy optimizer menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi optimizer ditentukan dalam file konfigurasi deepspeed.