Accelerate documentation

Утилиты Megatron-LM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Утилиты Megatron-LM

MegatronLMPlugin

класс accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

Параметры

  • tp_degree (int, по умолчанию None) — Степень параллелизма тензоров.
  • pp_degree (int, по умолчанию None) — Степень конвейерного параллелизма.
  • num_micro_batches (int, по умолчанию None) — Количество микробатчей.
  • gradient_clipping (float, по умолчанию None) — Значение обрезки градиентов на основе глобальной L2-нормы (0 для отключения).
  • sequence_parallelism (bool, по умолчанию None) — Включает параллелизм последовательностей.
  • recompute_activations (bool, по умолчанию None) — Включает выборочный пересчёт активаций.
  • use_distributed_optimizer (bool, по умолчанию None) — Включить распределённый оптимизатор.
  • pipeline_model_parallel_split_rank (int, по умолчанию None) — Ранг, на котором следует разделить энкодер и декодер.
  • num_layers_per_virtual_pipeline_stage (int, по умолчанию None) — Количество слоев на виртуальную стадию конвейера.
  • is_train_batch_min (str, по умолчанию True) — Если указаны оба загрузчика данных для обучения и оценки, этот параметр определяет micro_batch_size.
  • train_iters (int, по умолчанию None) — Общее количество образцов для обучения во всех прогонах обучения. Обратите внимание, что при использовании MegatronLMDummyScheduler необходимо указать либо train-iters, либо train-samples.
  • train_samples (int, по умолчанию None) — Общее количество образцов для обучения во всех циклах обучения. Обратите внимание, что при использовании MegatronLMDummyScheduler необходимо указать либо train-iters, либо train-samples.
  • weight_decay_incr_style (str, по умолчанию 'constant') — Функция приращения весового затухания. choices=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, по умолчанию None) — Начальный коэффициент затухания весов для L2-регуляризации.
  • end_weight_decay (float, по умолчанию None) — Коэффициент затухания веса в конце обучения для L2-регуляризации.
  • lr_decay_style (str, по умолчанию 'linear') — Функция затухания скорости обучения. choices=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, по умолчанию None) — Количество итераций для затухания скорости обучения. Если значение равно None, по умолчанию используется train_iters.
  • lr_decay_samples (int, по умолчанию None) — Количество образцов для затухания скорости обучения. Если значение равно None, по умолчанию используется train_samples.
  • lr_warmup_iters (int, по умолчанию None) — Количество итераций для линейного прогрева скорости обучения.
  • lr_warmup_samples (int, по умолчанию None) — Количество образцов, на протяжении которых линейно выполняется прогрев скорости обучения.
  • lr_warmup_fraction (float, по умолчанию None) — Доля lr-warmup-(итераций/образцов), в течение которой линейно выполняется прогрев скорости обучения.
  • min_lr (float, по умолчанию 0) — Минимальное значение коэффициента обучения. Планировщик обрезает значения ниже этого порога.
  • consumed_samples (List, по умолчанию None) — Количество использованных образцов в том же порядке, что и загрузчики данных для вызова accelerator.prepare.
  • no_wd_decay_cond (Optional, по умолчанию None) — Условие для отключения weight decay.
  • scale_lr_cond (Optional, по умолчанию None) — Условие для масштабирования скорости обучения.
  • lr_mult (float, по умолчанию 1.0) — Множитель скорости обучения.
  • megatron_dataset_flag (bool, по умолчанию False) — Указывает, следует ли формат набора данных формату Indexed/Cached/MemoryMapped от Megatron-LM.
  • seq_length (int, по умолчанию None) — Максимальная длина последовательности для обработки.
  • encoder_seq_length (int, по умолчанию None) — Максимальная длина последовательности для обработки энкодером.
  • decoder_seq_length (int, по умолчанию None) — Максимальная длина последовательности для обработки декодером.
  • tensorboard_dir (str, по умолчанию None) — Путь для сохранения журналов tensorboard.
  • set_all_logging_options (bool, по умолчанию False) — Указывает, следует ли установить все параметры журналирования.
  • eval_iters (int, по умолчанию 100) — Количество итераций, выполняемых для оценки валидации/теста.
  • eval_interval (int, по умолчанию 1000) — Интервал между запусками оценки на валидационной выборке.
  • return_logits (bool, по умолчанию False) — Возвращать ли логиты из модели.
  • custom_train_step_class (Optional, по умолчанию None) — Пользовательский класс для шага обучения.
  • custom_train_step_kwargs (Optional, по умолчанию None) — Пользовательские аргументы для шага обучения.
  • custom_model_provider_function (Optional, по умолчанию None) — Пользовательская функция провайдера модели.
  • custom_prepare_model_function (Optional, по умолчанию None) — Пользовательская функция подготовки модели.
  • custom_megatron_datasets_provider_function (Optional, по умолчанию None) — Пользовательская функция-провайдер наборов данных megatron train_valid_test.
  • custom_get_batch_function (Optional, по умолчанию None) — Пользовательская функция получения батча.
  • custom_loss_function (Optional, по умолчанию None) — Пользовательская функция потерь.
  • other_megatron_args (Optional, по умолчанию None) — Другие аргументы Megatron-LM. См. документацию Megatron-LM.

Плагин для Megatron-LM, обеспечивающий тензорное, конвейерное, последовательное и данные параллелизм. Также позволяет использовать выборочный пересчёт активаций и оптимизированные слиянные ядра.

MegatronLMDummyScheduler

класс accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

Параметры

  • optimizer (torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть.
  • total_num_steps (int) — Общее количество шагов.
  • warmup_num_steps (int) — Количество шагов для разгона.
  • **kwargs (дополнительные именованные аргументы, необязательный) — Другие аргументы.

Dummy scheduler представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация планировщика указана в файле конфигурации deepspeed.

MegatronLMDummyDataLoader

класс accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

Параметры

  • **dataset_kwargs — аргументы данных Megatron.

Dummy dataloader предоставляет параметры модели или группы параметров; это используется в первую очередь для следования стандартной процедуре обучения

AbstractTrainStep

класс accelerate.utils.AbstractTrainStep

< >

( name )

Абстрактный класс для пакетной обработки, прямого прохода и обработки функции потерь.

GPTTrainStep

класс accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

Параметры

  • args (argparse.Namespace) — аргументы Megatron-LM.

Класс шага обучения GPT.

BertTrainStep

класс accelerate.utils.BertTrainStep

< >

( acceleratorargs )

Параметры

  • args (argparse.Namespace) — аргументы Megatron-LM.

Класс шага обучения Bert.

T5TrainStep

класс accelerate.utils.T5TrainStep

< >

( acceleratorargs )

Параметры

  • args (argparse.Namespace) — аргументы Megatron-LM.

Класс шага обучения T5.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

Параметры

  • losses (List[Tensor]) — Список потерь для усреднения по группе data parallel.

Средние потери в группе параллелизма данных.

Update on GitHub