Accelerate documentation
유틸리티 함수 및 클래스
유틸리티 함수 및 클래스
아래는 🤗 Accelerate가 제공하는 다양한 유틸리티 함수를 용도별로 정리한 것입니다.
상수
🤗 Accelerate 전체에서 참조용으로 사용되는 상수
다음은 Accelerator.save_state()를 사용할 때 사용되는 상수입니다.
utils.MODEL_NAME: "pytorch_model" utils.OPTIMIZER_NAME: "optimizer" utils.RNG_STATE_NAME: "random_states" utils.SCALER_NAME: "scaler.pt utils.SCHEDULER_NAME: "scheduler
다음은 Accelerator.save_model()을 사용할 때 사용되는 상수입니다.
utils.WEIGHTS_NAME: "pytorch_model.bin" utils.SAFE_WEIGHTS_NAME: "model.safetensors" utils.WEIGHTS_INDEX_NAME: "pytorch_model.bin.index.json" utils.SAFE_WEIGHTS_INDEX_NAME: "model.safetensors.index.json"
데이터 클래스
이것들은 🤗 Accelerate 전반에서 사용되는 기본적인 dataclass이며, 매개변수로 전달할 수 있습니다.
독립형
dataclass은 분산 시스템의 유형과 같은 항목을 확인하는 데 사용되는 독립형 클래스입니다.
계산 환경의 유형을 나타냅니다.
값:
- LOCAL_MACHINE — 개인/사용자 지정 클러스터 하드웨어.
- AMAZON_SAGEMAKER — Amazon SageMaker를 계산 환경으로 사용합니다.
분산 환경의 유형을 나타냅니다.
값:
- NO — 분산 환경이 아닌 단일 프로세스입니다.
- MULTI_CPU — 여러 CPU 노드에 분산 배치.
- MULTI_GPU — 여러 GPU에 분산 배치.
- MULTI_MLU — 여러 MLU에 분산 배치.
- MULTI_SDAA — 여러 SDAA에 분산 배치.
- MULTI_MUSA — 여러 MUSA에 분산 배치.
- MULTI_NPU — 여러 NPU에 분산 배치.
- MULTI_XPU — 여러 XPU에 분산 배치.
- MULTI_HPU — 여러 HPU에 분산 배치.
- MULTI_NEURON — 여러 Neuron 코어에 분산 배치됩니다.
- DEEPSPEED — DeepSpeed 사용.
- FSDP — Fully Sharded Data Parallelism(FSDP) 사용.
- XLA — TorchXLA 사용.
- MEGATRON_LM — Megatron-LM 사용.
dynamo 백엔드를 나타냅니다(자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html 참조).
값:
- 아니요 — torch dynamo를 사용하지 마세요.
- EAGER — PyTorch를 사용하여 추출된 GraphModule을 실행합니다. 이는 TorchDynamo 문제를 디버깅하는 데 매우 유용합니다.
- AOT_EAGER — 컴파일러 없이 AotAutograd를 사용합니다. 즉, AotAutograd에서 추출된 forward 및 backward 그래프에 PyTorch eager만 사용하는 것입니다. 이는 디버깅에 유용하지만 속도 향상을 기대하기 어렵습니다.
- INDUCTOR — codegen된 Triton 커널을 활용하여 AotAutograd와 cudagraphs를 사용하는 TorchInductor 백엔드를 사용합니다. 자세히 보기
- AOT_TS_NVFUSER — AotAutograd/TorchScript와 함께 사용하는 nvFuser. 자세히 보기
- NVPRIMS_NVFUSER — PrimTorch와 함께 사용하는 nvFuser. 자세히 보기
- CUDAGRAPHS — AotAutograd와 함께 사용하는 cudagraphs. 자세히 보기
- OFI — Torchscript의 optimize_for_inference를 사용합니다. 추론 전용입니다. 자세히 보기
- FX2TRT — 추론 최적화에 Nvidia TensorRT를 사용합니다. 추론 전용입니다. 자세히 보기
- ONNXRT — CPU/GPU에서 추론을 위해 ONNXRT를 사용합니다. 추론 전용입니다. 자세히 보기
- TENSORRT — ONNXRT를 사용하여 추론 최적화를 위해 TensorRT를 실행합니다. 자세히 보기
- AOT_TORCHXLA_TRACE_ONCE — 학습을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
- TORCHXLA_TRACE_ONCE — 추론을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
- TVM — 추론 최적화에 Apache TVM을 사용합니다. 자세히 보기
- HPU_BACKEND — 추론 최적화를 위해 HPU 백엔드를 사용합니다.
- NEURON — Trainium/Inferentia를 위해 AWS Neuron 백엔드를 사용합니다.
지원되는 실험 트래커의 유형을 나타냅니다
값:
- ALL — 환경에서 지원되는 모든 사용 가능한 트래커
- TENSORBOARD — 실험 트래커로 사용하는 TensorBoard
- WANDB — 실험 트래커로 사용할 wandb
- TRACKIO — 실험 트래커로 사용하는 trackio
- COMETML — comet_ml을 실험 트래커로 사용
- MLFLOW — 실험 트래커로 mlflow
- CLEARML — 실험 트래커로 사용하는 clearml
- DVCLIVE — dvclive를 실험 트래커로 사용
- SWANLAB — 실험 트래커로 사용하는 swanlab
부동 소수점 값에 사용되는 정밀도의 유형을 나타냅니다
값:
- 아니요 — 전체 정밀도(FP32) 사용
- FP16 — 반정밀도 사용
- BF16 — brain floating point 정밀도 사용
분산 환경의 유형을 나타냅니다.
값:
- NO — 분산 환경이 아닌 단일 프로세스입니다.
- DATA_PARALLEL — sagemaker 분산 데이터 병렬성 사용.
- MODEL_PARALLEL — sagemaker 분산 모델 병렬성 사용.
Kwargs
이것은 Accelerate가 내부적으로 처리하는 PyTorch 생태계 전반의 특정 상호작용에 대한 구성 가능한 인자입니다.
class accelerate.AutocastKwargs
< source >( enabled: bool = Truecache_enabled: bool | None = None )
이 객체를 Accelerator에서 사용하여 torch.autocast의 동작 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.
class accelerate.DistributedDataParallelKwargs
< source >( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )
이 객체를 Accelerator에 사용하여 모델이 torch.nn.parallel.DistributedDataParallel로 래핑되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 정보는 이 wrapper의 문서를 참고하세요.
class accelerate.GradScalerKwargs
< source >( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )
이 객체를 Accelerator에 사용하여 혼합 정밀도의 동작, 특히 사용되는 torch.amp.GradScaler 또는 torch.cuda.amp.GradScaler가 생성되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 scaler의 문서를 참조하세요.
class accelerate.InitProcessGroupKwargs
< source >( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )
이 객체를 Accelerator에 사용하여 분산 프로세스의 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 메서드의 문서를 참고하세요.
참고: timeout이 None으로 설정된 경우, 기본값은 backend의 설정에 따라 결정됩니다.
dataclass에 to_kwargs() 메서드를 구현하는 내부 mixin입니다.
이 클래스의 기본값과 값이 다른 속성을 포함하는 사전(dict)을 반환합니다.
플러그인
이들은 Accelerator 객체에 전달할 수 있는 플러그인입니다. 문서의 다른 곳에서 정의되어 있지만, 편의를 위해 여기에서 모두 확인할 수 있습니다:
class accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
매개변수
- hf_ds_config (
Any, 기본값None) — DeepSpeed 설정 파일의 경로 또는 dict 또는accelerate.utils.deepspeed.HfDeepSpeedConfig클래스의 객체. - gradient_accumulation_steps (
int, 기본값None) — 옵티마이저 상태를 업데이트하기 전에 그래디언트를 누적할 단계 수입니다. 설정하지 않으면Accelerator의 값을 그대로 사용합니다. - gradient_clipping (
float, 기본값None) — 지정한 값으로 기울기 클리핑을 활성화합니다. - zero_stage (
int, 기본값None) — 가능한 값은 0, 1, 2, 3입니다. 기본값은 환경 변수에서 가져옵니다. - is_train_batch_min (
bool, 기본값True) — train 및 eval dataloader가 모두 지정된 경우,train_batch_size를 결정합니다. - offload_optimizer_device (
str, 기본값None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stages 2와 3에서만 적용됩니다. - offload_param_device (
str, 기본값None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stage 3에서만 적용됩니다. - offload_optimizer_nvme_path (
str, 기본값None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다. - offload_param_nvme_path (
str, 기본값None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다. - zero3_init_flag (
bool, 기본값None) — 16비트 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다. - zero3_save_16bit_model (
bool, 기본값None) — 16-bit 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다. - transformer_moe_cls_names (
str, 기본값None) — 대소문자를 구분하는 Transformers MoE 레이어 클래스 이름의 쉼표로 구분된 목록입니다. 예를 들어,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlock등입니다.
이 플러그인은 DeepSpeed를 통합하는 데 사용됩니다.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
kwargs의 값으로 DeepSpeed 구성을 처리합니다.
현재 deepspeed 플러그인 구성을 사용하도록 HfDeepSpeedWeakref를 설정합니다
class accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
매개변수
- fsdp_version (
int, 기본값1) — 사용할 FSDP 버전입니다. 기본값은 1입니다. 2로 설정하면 launcher는 설정이 FSDP2 형식으로 변환되었기를 기대합니다. - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy], 기본값'FULL_SHARD') — 사용할 샤딩 전략입니다.str또는torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy인스턴스여야 합니다.reshard_after_forward사용을 권장하며 비권장(deprecated)되었습니다. - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool],fsdp_version=1의 경우 기본값은'FULL_SHARD',fsdp_version=2의 경우 기본값은True) — 사용할 샤딩 전략입니다.fsdp_version이 2로 설정된 경우 bool이어야 하고, 그렇지 않은 경우str또는torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy의 인스턴스여야 합니다. - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch], 기본값'NO_PREFETCH') — 사용할 Backward prefetch 전략입니다.str또는torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch인스턴스여야 합니다. - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], 기본값None) — FullyShardedDataParallel을 사용하여 혼합 정밀도 훈련을 활성화하기 위한 설정입니다.dict를 전달하는 경우, 다음 키를 가져야 합니다:param_dtype,reduce_dtype,buffer_dtype.fsdp_version이 2로 설정된 경우torch.distributed.fsdp.MixedPrecisionPolicy의 인스턴스일 수 있습니다.str을 전달하는 경우, 다음 값 중 하나여야 합니다: fp8, fp16, bf16, fp32. 이 값은param_dtype,reduce_dtype,buffer_dtype를 설정하는 데 사용됩니다. - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], 기본값False) — 파라미터를 CPU로 오프로드할지 여부입니다.bool또는fsdp_version이 2로 설정된 경우torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload또는torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy의 인스턴스여야 합니다. - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]], 기본값None) — FSDP로 래핑할 때 무시할 모듈 목록입니다. 문자열을 전달하면 정규식 fullmatch를 사용하여 모듈 이름을 기준으로 일치시킵니다.fsdp_version이 2로 설정되어 있으면, 해당 모듈은 파라미터로 변환되어 사용됩니다. - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType], 기본값'FULL_STATE_DICT') — 사용할 state dict 유형입니다. 문자열인 경우full_state_dict,local_state_dict, 또는sharded_state_dict중 하나여야 합니다. - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], 기본값None) — 사용할 state dict config입니다. 전달되지 않으면state_dict_type에 따라 결정됩니다. - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], 기본값None) — 사용할 Optim state dict config입니다. 전달되지 않으면state_dict_type에 따라 결정됩니다. - limit_all_gathers (
bool, 기본값True) — FSDP가 CPU 스레드를 명시적으로 동기화하여 과도한 in-flight all-gather를 방지할지 여부입니다. 이 bool은 all-gather를 스케줄링하는 sharded 전략에만 영향을 줍니다. 이 옵션을 활성화하면 CUDA malloc 재시도 횟수를 줄이는 데 도움이 될 수 있습니다. - use_orig_params (
bool, 기본값False) — 옵티마이저에 원래 파라미터를 사용할지 여부입니다. - param_init_fn (
Optional[Callable[[torch.nn.Module], None], 기본값None) — 현재 meta device에 있는 모듈을 실제 device로 초기화하는 방법을 지정하는Callable[torch.nn.Module] -> None입니다.sync_module_states가True인 경우에만 적용됩니다. 기본적으로 모듈에to_empty를 호출하는lambda입니다. - sync_module_states (
bool, 기본값False) — 개별적으로 래핑된 각 FSDP 유닛이 초기화 후 모든 랭크에서 모듈 파라미터가 동일하도록 rank 0에서 모듈 파라미터를 브로드캐스트할지 여부입니다.cpu_ram_efficient_loading이True인 경우를 제외하고 기본값은False이며, 이 경우 해당 옵션은 강제로 활성화됩니다. - forward_prefetch (
bool, 기본값False) — forward pass 실행 중에 FSDP가 다음 all-gather를 명시적으로 미리 가져오도록 할지 여부입니다. Static graphs와 함께만 사용하세요. - activation_checkpointing (
bool, 기본값False) — 일부 레이어의 activations를 해제하고 backward pass 중에 다시 계산하여 메모리 사용량을 줄이는 기법입니다. 즉, 추가적인 계산 시간을 희생하여 메모리 사용량을 줄이는 방식입니다. - cpu_ram_efficient_loading (
bool, 기본값None) — True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 나머지 모든 프로세스는 빈 가중치를 가집니다. Transformers에만 적용됩니다. 이 옵션을 사용할 때sync_module_states는True여야 합니다. - transformer_cls_names_to_wrap (
Optional[List[str]], 기본값None) — 래핑할 transformer 레이어 클래스 이름 목록입니다.auto_wrap_policy가transformer_based_wrap인 경우에만 적용됩니다. - min_num_params (
Optional[int], 기본값None) — 래핑될 모듈이 가져야 하는 최소 매개변수 수입니다.auto_wrap_policy가size_based_wrap인 경우에만 적용됩니다.
이 플러그인은 완전 샤딩 데이터 병렬성을 활성화하는 데 사용됩니다.
model을 기반으로 전달된 정책에 따라 auto_wrap_policy를 생성하고, transformer_cls_to_wrap를 사용할 수 있는지 확인합니다.
FSDP의 혼합 정밀도 정책을 설정합니다
StateDictType에 따라 state dict 구성을 설정합니다.
필요하지 않을 경우 가져오기를 피하기 위해 추상화되어 있는 혼합 정밀도 정책을 검증합니다.
class accelerate.utils.GradientAccumulationPlugin
< source >( num_steps: int = Noneadjust_scheduler: bool = Truesync_with_dataloader: bool = Truesync_each_batch: bool = False )
매개변수
- num_steps (
int) — 그라디언트를 누적할 스텝 수입니다. - adjust_scheduler (
bool, 선택 사항, 기본값True) — 스케줄러의 스텝을 누적되는 스텝 수를 고려하도록 조정할지 여부입니다. 사용하는 스케줄러가 그래디언트 축적을 위해 조정되지 않았다면True여야 합니다. - sync_with_dataloader (
bool, 선택 사항, 기본값True) — dataloader의 끝에서 기울기를 설정할 때 동기화할지 여부. - sync_each_batch (
bool, 선택 사항) — 각 데이터 배치에서 기울기를 설정할 때 동기화할지 여부. 분산 학습에서 기울기 축적을 사용할 때True로 설정하면 속도가 느려지는 대신 메모리 요구량을 줄일 수 있습니다.
그라디언트 누적 동작을 구성하기 위한 플러그인입니다. Accelerator에는 gradient_accumulation_plugin 또는 gradient_accumulation_steps 중 하나만 전달할 수 있습니다. 둘 다 전달하면 오류가 발생합니다.
class accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
매개변수
- tp_degree (
int, 기본값None) — Tensor parallelism degree. - pp_degree (
int, 기본값None) — 파이프라인 병렬도입니다. - num_micro_batches (
int, 기본값None) — 마이크로 배치의 수. - gradient_clipping (
float, 기본값None) — 전역 L2 노름에 기반한 그라디언트 클리핑 값(0이면 비활성화). - sequence_parallelism (
bool, 기본값None) — 시퀀스 병렬화를 활성화합니다. - recompute_activations (
bool, 기본값None) — 선택적 활성화 재계산을 활성화합니다. - use_distributed_optimizer (
bool, 기본값None) — 분산 옵티마이저를 활성화합니다. - pipeline_model_parallel_split_rank (
int, 기본값None) — 인코더와 디코더를 분리할 랭크. - num_layers_per_virtual_pipeline_stage (
int, 기본값None) — 가상 파이프라인 단계별 레이어 수. - is_train_batch_min (
str, 기본값True) — train 및 eval dataloader가 모두 지정된 경우, 이 값이micro_batch_size를 결정합니다. - train_iters (
int, 기본값None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수.MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다. - train_samples (
int, 기본값None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수.MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다. - weight_decay_incr_style (
str, 기본값'constant') — Weight decay 증가 함수. choices=[“constant”, “linear”, “cosine”]. - start_weight_decay (
float, 기본값None) — L2 정규화를 위한 초기 weight decay 계수. - end_weight_decay (
float, 기본값None) — L2 정규화를 위한 실행 종료 시 weight decay 계수입니다. - lr_decay_style (
str, 기본값'linear') — 학습률 감쇠 함수. choices=[‘constant’, ‘linear’, ‘cosine’]. - lr_decay_iters (
int, 기본값None) — 학습률 감쇠를 위한 반복 횟수입니다. None인 경우 기본값은train_iters입니다. - lr_decay_samples (
int, 기본값None) — 학습률 감쇠에 사용할 샘플 수. None인 경우 기본값은train_samples입니다. - lr_warmup_iters (
int, 기본값None) — 학습률을 선형으로 워밍업할 반복 횟수입니다. - lr_warmup_samples (
int, 기본값None) — 학습률을 선형으로 워밍업할 샘플 수입니다. - lr_warmup_fraction (
float, 기본값None) — 학습률을 선형으로 warmup할 lr-warmup-(iters/samples)의 비율. - min_lr (
float, 기본값0) — 학습률의 최소값입니다. 스케줄러는 이 임계값보다 작은 값을 이 값으로 잘라냅니다. - consumed_samples (
List, 기본값None) —accelerator.prepare호출에 전달된 dataloader 순서와 동일한 순서로 소비된 샘플 수입니다. - no_wd_decay_cond (
Optional, 기본값None) — weight decay를 비활성화할 조건. - scale_lr_cond (
Optional, 기본값None) — 학습률을 스케일링할 조건. - lr_mult (
float, 기본값1.0) — 학습률 배율입니다. - megatron_dataset_flag (
bool, 기본값False) — 데이터셋의 형식이 Megatron-LM Indexed/Cached/MemoryMapped 형식을 따르는지 여부. - seq_length (
int, 기본값None) — 처리할 최대 시퀀스 길이입니다. - encoder_seq_length (
int, 기본값None) — 인코더에서 처리할 최대 시퀀스 길이입니다. - decoder_seq_length (
int, 기본값None) — 디코더에서 처리할 최대 시퀀스 길이입니다. - tensorboard_dir (
str, 기본값None) — tensorboard 로그를 저장할 경로입니다. - set_all_logging_options (
bool, 기본값False) — 모든 로깅 옵션을 설정할지 여부. - eval_iters (
int, 기본값100) — 평가용 검증/테스트를 실행할 반복 횟수입니다. - eval_interval (
int, 기본값1000) — 검증 세트에서 평가를 실행하는 간격입니다. - return_logits (
bool, 기본값False) — 모델에서 logits를 반환할지 여부. - custom_train_step_class (
Optional, 기본값None) — 사용자 정의 학습 단계 클래스입니다. - custom_train_step_kwargs (
Optional, 기본값None) — 사용자 정의 train step kwargs입니다. - custom_model_provider_function (
Optional, 기본값None) — 사용자 정의 모델 제공 함수입니다. - custom_prepare_model_function (
Optional, 기본값None) — 사용자 정의 prepare model 함수입니다. - custom_megatron_datasets_provider_function (
Optional, 기본값None) — 사용자 정의 megatron train_valid_test 데이터셋 제공자 함수입니다. - custom_get_batch_function (
Optional, 기본값None) — 사용자 정의 get batch 함수입니다. - custom_loss_function (
Optional, 기본값None) — 사용자 정의 손실 함수입니다. - other_megatron_args (
Optional, 기본값None) — 다른 Megatron-LM 인자입니다. Megatron-LM 문서를 참조하세요.
tensor, pipeline, sequence 및 data 병렬화를 활성화하는 Megatron-LM용 플러그인입니다. 또한 선택적 activation 재계산 및 최적화된 fused kernel을 활성화합니다.
클래스 accelerate.utils.TorchDynamoPlugin
< source >( backend: DynamoBackend = Nonemode: str = Nonefullgraph: bool = Nonedynamic: bool = Noneoptions: Any = Nonedisable: bool = Falseuse_regional_compilation: bool = None )
매개변수
- backend (
DynamoBackend, 기본값None) — 유효한 Dynamo 백엔드입니다. 자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html을 참조하세요. - mode (
str, 기본값None) — 가능한 옵션은 ‘default’, ‘reduce-overhead’, ‘max-autotune’입니다. - fullgraph (
bool, 기본값None) — 모델을 여러 서브그래프로 나누는 것이 허용되는지 여부입니다. - dynamic (
bool, 기본값None) — 트레이싱에 동적 형상을 사용할지 여부입니다. - options (
Any, 기본값None) — 백엔드에 전달할 옵션의 사전입니다. - disable (
bool, 기본값False) — 테스트를 위해 torch.compile()을 no-op으로 만듭니다 - use_regional_compilation (
bool, 기본값None) —GPT2LMHeadModel와 같이 동일한 클래스의 반복되는 블록을 대상으로 순차적으로 컴파일하여 컴파일러 캐시를 적중시킴으로써GPT2Block의model.transformer.h[0]접근과 같은 방식으로 torch.compile()의 콜드 스타트 컴파일 시간을 줄이는 데 사용할 수 있습니다. 모델의 나머지 부분(예: model.lm_head)은 별도로 컴파일됩니다.
이 플러그인은 PyTorch 2.0으로 모델을 컴파일하는 데 사용됩니다.
구성
이것은 구성할 수 있으며 적절한 통합으로 전달할 수 있는 클래스입니다
class accelerate.utils.BnbQuantizationConfig
< source >( load_in_8bit: bool = Falsellm_int8_threshold: float = 6.0load_in_4bit: bool = Falsebnb_4bit_quant_type: str = 'fp4'bnb_4bit_use_double_quant: bool = Falsebnb_4bit_compute_dtype: str = 'fp16'torch_dtype: dtype = Noneskip_modules: list[str] = Nonekeep_in_fp32_modules: list[str] = None )
매개변수
- load_in_8bit (
bool, 기본값False) — 8bit 양자화를 활성화합니다. - llm_int8_threshold (
float, 기본값6.0) — Outliner 임계값입니다.load_in_8bit=True일 때만 관련이 있습니다. - load_in_4bit (
bool, 기본값False) — 4bit 양자화를 활성화합니다. - bnb_4bit_quant_type (
str, 기본값fp4) —bnb.nn.Linear4Bit레이어의 양자화 데이터 유형을 설정합니다. 선택지는 {‘fp4’,‘np4’}입니다. - bnb_4bit_use_double_quant (
bool, 기본값False) — 첫 번째 양자화에서 생성된 양자화 상수를 다시 양자화하는 중첩 양자화를 활성화합니다. - bnb_4bit_compute_dtype (
bool, 기본값fp16) — 입력 시점과 다를 수 있는 계산용 데이터 타입을 설정합니다. 예를 들어, 입력은 fp32일 수 있지만 속도를 높이기 위해 계산은 bf16으로 설정할 수 있습니다. 선택지는 {‘fp32’,‘fp16’,‘bf16’}입니다. - torch_dtype (
torch.dtype, 기본값None) — 이 값은 양자화되지 않은 나머지 레이어의 dtype을 설정합니다.bitsandbytes라이브러리는 8비트 모델의 경우 값을torch.float16으로 설정하고, 4비트 모델의 경우 compute dtype과 동일한 dtype을 사용할 것을 권장합니다. - skip_modules (
List[str], 기본값None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들의 dtype은torch_dtype가 됩니다. - keep_in_fp32_modules (
List, 기본값None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들은torch.float32로 유지됩니다.
BitsAndBytes 4bit 및 8bit 양자화를 활성화하는 플러그인
class accelerate.DataLoaderConfiguration
< source >( split_batches: bool = Falsedispatch_batches: bool = Noneeven_batches: bool = Trueuse_seedable_sampler: bool = Falsedata_seed: int = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = False )
매개변수
- split_batches (
bool, 기본값False) — accelerator가 dataloader가 생성하는 배치들을 여러 장치에 걸쳐 나누어 사용할지 여부입니다.True인 경우, 실제 사용되는 배치 크기는 모든 분산 프로세스에서 동일하지만, 사용하는num_processes의 정수 배여야 합니다.False인 경우, 실제 사용되는 배치 크기는 스크립트에서 설정한 값에 프로세스 수를 곱한 값이 됩니다. - dispatch_batches (
bool, 기본값None) —True로 설정하면, Accelerator로 준비된 dataloader는 메인 프로세스에서만 반복되고, 이후 배치들이 분할되어 각 프로세스로 브로드캐스트됩니다.DataLoader의 기본 데이터셋이IterableDataset인 경우 기본값은True, 그 외에는False입니다. - even_batches (
bool, 기본값True) —True로 설정하면, 모든 프로세스에 걸친 전체 배치 크기로 데이터셋을 정확히 나누어 떨어지지 않는 경우, 배치의 균등한 분할을 위해 데이터셋의 앞부분 샘플이 중복됩니다. - use_seedable_sampler (
bool, 기본값False) — 완전히 시드 설정이 가능한 랜덤 샘플러(data_loader.SeedableRandomSampler)를 사용할지 여부입니다. 다른 샘플링 기법을 사용하여 학습 결과가 완전히 재현 가능하도록 보장합니다. 시드 간 결과에는 차이가 있을 수 있지만, 여러 다른 시드를 사용하여 비교할 경우 평균적으로 차이는 무시할 수 있을 정도로 작습니다. 최적의 결과를 얻으려면 set_seed()와 함께 실행해야 합니다. - data_seed (
int, 기본값None) —use_seedable_sampler을 사용할 때 내부 생성기에 사용할 시드입니다.None인 경우 생성기는 torch의 현재 기본 시드를 사용합니다. - non_blocking (
bool, 기본값False) —True로 설정하면 Accelerator가 준비한 dataloader는 non-blocking host-to-device 전송을 사용하여 dataloader 통신과 계산 간의 오버랩을 개선할 수 있습니다. 올바르게 작동하려면 준비된 dataloader의pin_memory가True로 설정되어 있어야 합니다. - use_stateful_dataloader (
bool, 기본값False) —True로 설정하면, Accelerator가 준비한 dataloader는 torchdata.StatefulDataLoader를 기반으로 합니다. 이를 위해 StatefulDataLoader를 지원하는torchdata0.8.0 이상 버전이 설치되어 있어야 합니다.
accelerator.prepare를 호출할 때 dataloader 관련 항목에 대한 설정입니다.
클래스 accelerate.utils.ProjectConfiguration
< source >( project_dir: str = Nonelogging_dir: str = Noneautomatic_checkpoint_naming: bool = Falsetotal_limit: int = Noneiteration: int = 0save_on_each_node: bool = False )
매개변수
- project_dir (
str, 기본값None) — 데이터를 저장할 디렉토리의 경로입니다. - logging_dir (
str, 기본값None) — 로컬 호환 로거의 로그를 저장할 디렉토리의 경로입니다.None인 경우 기본값은project_dir입니다. - automatic_checkpoint_naming (
bool, 기본값False) — 저장된 상태를 자동으로 순차적으로 이름 붙일지 여부. - total_limit (
int, 기본값None) — 보관할 총 저장 상태의 최대 개수입니다. - iteration (
int, 기본값0) — 현재 저장 반복 횟수입니다. - save_on_each_node (
bool, 기본값False) — 멀티 노드 분산 학습을 수행할 때, 모델과 체크포인트를 각 노드에 저장할지 아니면 메인 노드에만 저장할지를 결정합니다.
내부 프로젝트의 요구 사항에 기반한 Accelerator 객체의 구성
self.project_dir와 self.logging_dir를 적절한 값으로 설정합니다.
환경 변수
이것은 다양한 사용 사례에 대해 활성화할 수 있는 환경 변수입니다
ACCELERATE_DEBUG_MODE(str): accelerate를 디버그 모드로 실행할지 여부. 자세한 내용은 여기에서 확인할 수 있습니다.
데이터 조작 및 연산
여기에는 동일한 torch 연산을 모방하는 데이터 연산이 포함되며, 분산 프로세스에서 사용할 수 있습니다.
accelerate.utils.broadcast
< source >( tensorfrom_process: int = 0 )
Recursively broadcast tensor in a nested list/tuple/dictionary of tensors to all devices.
accelerate.utils.broadcast_object_list
< source >( object_listfrom_process: int = 0 )
…
accelerate.utils.concatenate
< source >( datadim = 0 )
동일한 shape를 가진 텐서들의 리스트로 이루어진 중첩된 리스트/튜플/딕셔너리의 텐서를 재귀적으로 연결합니다. 데이터가 단일 배치인 경우 그대로 반환됩니다.
accelerate.utils.convert_to_fp32
< source >( tensor )
FP16/BF16 정밀도의 텐서로 구성된 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 FP32로 변환합니다.
모든 디바이스에서 중첩된 리스트/튜플/딕셔너리 형태의 텐서에서 텐서를 재귀적으로 수집합니다.
accelerate.utils.gather_object
< source >( object: Any )
…
accelerate.utils.get_grad_scaler
< source >( distributed_type: DistributedType = None**kwargs )
환경에 따라 올바른 GradScaler 구현을 초기화하고 이를 반환하는 범용 헬퍼입니다.
accelerate.utils.get_mixed_precision_context_manager
< source >( native_amp: bool = Falseautocast_kwargs: AutocastKwargs = None )
혼합 정밀도 자동 캐스팅을 위한 컨텍스트 매니저를 반환합니다
accelerate.utils.listify
< source >( data )
중첩된 리스트/튜플/딕셔너리 내에서 텐서를 재귀적으로 찾아 숫자 리스트로 변환합니다.
accelerate.utils.pad_across_processes
< source >( tensordim = 0pad_index = 0pad_first = False )
모든 디바이스의 중첩된 리스트/튜플/딕셔너리 내 텐서를 재귀적으로 패딩하여 동일한 크기로 맞춘 후 안전하게 수집할 수 있도록 합니다.
accelerate.utils.recursively_apply
< source >( funcdata*argstest_type = <function is_torch_tensor at 0x7f7be94c4460>error_on_other_type = False**kwargs )
매개변수
- func (
callable) — 재귀적으로 적용할 함수. - data (
test_type가 허용하는 객체의 중첩된 리스트/튜플/딕셔너리) —func를 적용할 데이터 - *args —
압축 해제된 데이터에
func를 적용할 때func로 전달되는 위치 인자. - test_type (
Callable[[Any], bool], 선택 사항, 기본값is_torch_tensor) —func를 주어진 리프 객체에 적용할지 여부를 결정하는 술어입니다. - error_on_other_type (
bool, 선택 사항, 기본값False) —data를 언패킹한 후test_type가False를 반환하는 객체를 만나면 오류를 반환할지 여부입니다.False인 경우, 함수는 해당 객체를 변경하지 않고 그대로 유지합니다. - **kwargs (추가 키워드 인자, 선택 사항) —
패킹이 해제된 데이터에
func를 적용할 때 전달되는 키워드 인자입니다.
…
accelerate.utils.reduce
< source >( tensorreduction = 'mean'scale = 1.0 )
…
accelerate.utils.send_to_device
< source >( tensordevicenon_blocking = Falseskip_keys = None )
매개변수
- tensor (
torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 주어진 디바이스로 전송할 데이터. - device (
torch.device) — 데이터를 전송할 장치. - non_blocking (
bool, 선택 사항, 기본값False) —True인 경우, 디바이스로의 전송이 비동기적으로 수행되어 데이터 이동과 계산을 겹칠 수 있습니다. 디바이스가 이를 지원하는 경우에만(예: CUDA) 유효합니다. - skip_keys (
str또는List[str], 선택 사항) —tensor딕셔너리에서 값이 주어진device로 전송되지 않아야 하는 키 또는 키 목록입니다. 이 키를 가진 항목은 원래 있던 device에 그대로 유지됩니다.
텐서로 이루어진 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 지정된 장치로 전송합니다.
accelerate.utils.slice_tensors
< source >( datatensor_sliceprocess_index = Nonenum_processes = None )
Recursively takes a slice in a nested list/tuple/dictionary of tensors.
환경 확인
이러한 기능은 운영체제 자체에 대한 정보, 운영체제가 지원할 수 있는 항목, 그리고 특정 의존성이 설치되어 있는지 여부와 같은 현재 작업 환경의 상태를 확인합니다.
bf16이 지원되는지 확인하며, TPU를 선택적으로 무시합니다
MPS 디바이스가 사용 가능한지 확인합니다. 필요한 최소 버전은 1.12입니다.
torch_npu가 설치되어 있는지, 그리고 환경에 NPU가 있는지 확인합니다
accelerate.utils.is_torch_version
< source >( operation: strversion: str )
…
torch_xla가 사용 가능한지 확인합니다. torch xla가 설치된 환경에서 네이티브 pytorch 작업을 학습하려면 USE_TORCH_XLA를 false로 설정합니다.
stock PyTorch (>=2.7)를 통해 XPU 가속이 사용 가능한지, 그리고 환경에 XPU가 존재하는지 확인합니다
환경 조작
os.environ에 전달된 각 키워드 인수를 추가하고, 종료 시 제거하는 컨텍스트 매니저입니다.
kwargs의 값을 문자열로 변환하고 모든 키를 대문자로 변환합니다.
환경 변수를 일시적으로 지우는 컨텍스트 매니저입니다.
이 컨텍스트를 벗어나면 이전 환경 변수가 복원됩니다.
accelerate.commands.config.default.write_basic_config
< source >( mixed_precision = 'no'save_location: str = '/home/runner/.cache/huggingface/accelerate/default_config.yaml' )
매개변수
- mixed_precision (
str, 선택 사항, 기본값 “no”) — 사용할 Mixed Precision입니다. “no”, “fp16”, “bf16” 중 하나여야 합니다. - save_location (
str, 선택 사항, 기본값은default_json_config_file) — 선택적인 사용자 지정 저장 위치입니다.accelerate launch를 사용할 때--config_file에 전달해야 합니다. 기본 위치는 huggingface 캐시 폴더(~/.cache/huggingface) 내부이지만,HF_HOME환경 변수를 설정하여accelerate/default_config.yaml을 덮어쓸 수 있습니다.
로컬 머신에서, 잠재적으로 여러 GPU를 사용하여 사용할 기본 클러스터 구성을 생성하고 저장합니다. CPU 전용 머신인 경우 CPU도 설정합니다.
🤗 Accelerate를 처음 설정할 때, accelerate config 대신 [~utils.write_basic_config]을 사용하여 빠르게 설정할 수 있습니다.
현재 프로세스를 특정 NUMA 노드에 할당합니다. 각 노드에 CPU가 최소 2개 이상 있을 때 가장 효율적입니다.
이 결과는 호출 사이에 캐시됩니다. 이를 오버라이드하려면 accelerate.utils.environment.override_numa_afifnity를 사용하세요.
accelerate.utils.environment.override_numa_affinity
< source >( local_process_index: intverbose: bool | None = None )
현재 프로세스에 설정된 NUMA affinity를 무시합니다. 이는 매우 부담이 크며, 설정할 affinity를 다시 계산해야 하므로, 가능하면 utils.environment.set_numa_affinity를 사용하는 것이 좋습니다.
장식된 클래스 또는 함수가 설정한 accelerate 환경 변수를 정리하는 데코레이터입니다.
일부 상황에서 특정 클래스나 함수를 호출하면 accelerate 환경 변수가 설정된 후 정리되지 않을 수 있습니다. 예를 들어, 다음을 호출할 때:
TrainingArguments(fp16=True, …)
다음 환경 변수가 설정됩니다:
ACCELERATE_MIXED_PRECISION=fp16
이 환경 변수는 TrainingArguments(fp16=False)보다 우선하므로, 후속 코드에 영향을 줄 수 있습니다. 이는 각 테스트가 서로에게 부수 효과를 주지 않도록 해야 하는 단위 테스트에서 특히 중요합니다. 각 테스트가 끝난 후 환경 변수가 정리되도록 보장하려면, 이 데코레이터로 단위 테스트 함수나 전체 클래스를 장식하십시오. 이 데코레이터는 unittest.TestCase와 일반 클래스(pytest) 모두에서 동작하며, 부모 클래스를 장식하는 경우에도 동작합니다.
메모리
accelerate.find_executable_batch_size
< source >( function: callable | None = Nonestarting_batch_size: int = 128reduce_batch_size_fn: callable | None = None )
function을 실행하려고 시도하는 기본 데코레이터입니다. 메모리 부족 또는 CUDNN과 관련된 예외로 실패하면 배치 크기를 0.9로 곱한 후 function에 전달합니다.
function은 첫 번째 인수로 batch_size 매개변수를 받아야 합니다.
모델링
이 유틸리티는 PyTorch 모델과 상호 작용하는 것과 관련이 있습니다
모델의 전체 크기와 가장 큰 레이어의 크기를 계산합니다
accelerate.utils.compute_module_sizes
< source >( model: Moduledtype: str | torch.device | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonebuffers_only: bool = False )
주어진 모델의 각 서브모듈의 크기를 계산합니다.
accelerate.utils.extract_model_from_parallel
< source >( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module
매개변수
- model (
torch.nn.Module) — 추출할 모델. - keep_fp32_wrapper (
bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다. - keep_torch_compile (
bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부. - recursive (
bool, 선택 사항, 기본값False) —model에서module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.
반환값
torch.nn.Module
추출된 모델.
…
accelerate.utils.get_balanced_memory
< source >( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonelow_zero: bool = False )
매개변수
- model (
torch.nn.Module) — 분석할 모델. - max_memory (
Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예:max_memory={0: "1GB"}. - no_split_module_classes (
List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어). - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - special_dtypes (
Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다). - low_zero (
bool, 선택 사항) — GPU 0에 있는 가중치의 수를 최소화합니다. 이는 Transformers의 generate 함수와 같은 다른 작업에 GPU 0을 사용할 때 유용합니다.
사용 가능한 각 GPU의 사용량을 균형 있게 조절하기 위해 infer_auto_device_map()에 사용할 max_memory 사전(dictionary)을 계산합니다.
모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은
init_empty_weights컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.
accelerate.utils.get_max_layer_size
< source >( modules: list[tuple[str, torch.nn.Module]]module_sizes: dict[str, int]no_split_module_classes: list[str] ) → Tuple[int, List[str]]
매개변수
- modules (
List[Tuple[str, torch.nn.Module]]) — 최대 레이어 크기를 결정하려는 이름이 지정된 모듈 목록입니다. - module_sizes (
Dict[str, int]) — 각 레이어 이름을 해당 크기(compute_module_sizes로 생성된 값)로 매핑하는 사전입니다. - no_split_module_classes (
List[str]) — 분할하지 않으려는 레이어의 클래스 이름 목록입니다.
반환값
Tuple[int, List[str]]
해당 최대 크기를 실현하는 레이어 이름 목록을 가진 레이어의 최대 크기.
명명된 모듈 목록을 스캔하여 하나의 완전한 레이어가 사용하는 최대 크기를 반환하는 유틸리티 함수입니다. 여기서 레이어의 정의는 다음과 같습니다:
- 직접적인 자식 모듈이 없는 모듈(파라미터와 버퍼만 포함)
- 클래스 이름이
no_split_module_classes목록에 포함된 모듈
accelerate.infer_auto_device_map
< source >( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.dtype] | None = Noneverbose: bool = Falseclean_result: bool = Trueoffload_buffers: bool = Falsefallback_allocation: bool = False )
매개변수
- model (
torch.nn.Module) — 분석할 모델. - max_memory (
Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예:max_memory={0: "1GB"}. - no_split_module_classes (
List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어). - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - special_dtypes (
Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다). - verbose (
bool, 선택 사항, 기본값False) — device_map을 구성하는 동안 디버깅 문구를 제공할지 여부입니다. - clean_result (
bool, 선택 사항, 기본값True) — 같은 디바이스에 배치되는 모든 서브모듈을 그룹화하여 결과 device_map을 정리합니다. - offload_buffers (
bool, 선택 사항, 기본값False) — CPU 또는 하드 드라이브로 오프로드되는 레이어에서 파라미터와 함께 버퍼도 오프로드할지 여부. - fallback_allocation (
bool, 선택 사항, 기본값False) — 일반 할당이 실패하면 BFS를 사용해 크기 제한에 맞는 모듈을 할당하도록 시도합니다.
GPU에 우선순위를 두고 주어진 모델에 대한 device map을 계산한 다음 CPU로 오프로드하고, 마지막으로 디스크로 오프로드합니다.
- GPU 중 어느 것의 사용 가능 메모리도 초과하지 않습니다.
- CPU로의 offload가 필요한 경우, GPU 0에는 항상 CPU에 offload된 레이어 중 가장 큰 크기의 레이어를 다시 올릴 수 있는 여유 공간이 있습니다.
- CPU로의 offload가 필요한 경우, CPU에서 사용 가능한 RAM을 초과하지 않습니다.
- 디스크 오프로딩이 필요한 경우에도, 디스크에 오프로드된 레이어 중 가장 큰 크기를 가진 레이어를 CPU로 다시 올릴 수 있는 공간이 항상 남아 있습니다.
모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은
init_empty_weights컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.
accelerate.load_checkpoint_in_model
< source >( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )
매개변수
- model (
torch.nn.Module) — 체크포인트를 로드하려는 모델입니다. - checkpoint (
str또는os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:- 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
.json파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다- 유일한
.index.json파일과 체크포인트의 샤드가 포함된 폴더의 경로 - 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
- device_map (
Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. - offload_folder (
str또는os.PathLike, 선택 사항) —device_map에"disk"값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다. - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - offload_state_dict (
bool, 선택 사항, 기본값False) —True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다. - keep_in_fp32_modules(
List[str], 선택 사항) —torch.float32dtype로 유지할 모듈 목록입니다. - offload_8bit_bnb (
bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다. - strict (
bool, 선택 사항, 기본값False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다. - full_state_dict (
bool, 선택 사항, 기본값True) — 이 값이True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다. - broadcast_from_rank0 (
False, 선택 사항, 기본값False) — 이 옵션이True인 경우 분산ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).
모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.
Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().
accelerate.utils.load_offloaded_weights
< source >( modelindexoffload_folder )
offload 폴더에서 가중치를 모델로 로드합니다.
accelerate.utils.load_state_dict
< source >( checkpoint_filedevice_map = None )
… 파일에서 체크포인트를 로드합니다. 체크포인트가 safetensors 형식이고 device map이 전달되면, 가중치를 GPU에 직접 빠르게 로드할 수 있습니다.
accelerate.utils.offload_state_dict
< source >( save_dir: str | os.PathLikestate_dict: dict[str, torch.Tensor] )
…
accelerate.utils.retie_parameters
< source >( modeltied_params )
링크가 끊어진 경우(예: 훅을 추가할 때) 주어진 모델의 연결된 매개변수를 다시 연결합니다.
accelerate.utils.set_module_tensor_to_device
< source >( module: Moduletensor_name: strdevice: int | str | torch.devicevalue: torch.Tensor | None = Nonedtype: str | torch.dtype | None = Nonefp16_statistics: torch.HalfTensor | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = Nonenon_blocking: bool = Falseclear_cache: bool = True )
매개변수
- module (
torch.nn.Module) — 이동하려는 텐서가 포함된 모듈입니다. - tensor_name (
str) — 파라미터/버퍼의 전체 이름. - device (
int,str또는torch.device) — 텐서를 설정할 장치입니다. - value (
torch.Tensor, 선택 사항) — 텐서의 값 (meta 디바이스에서 다른 디바이스로 이동할 때 유용합니다). - dtype (
torch.dtype, 선택 사항) — 값이 전달되면 해당 매개변수의 값은 이dtype으로 캐스팅됩니다. 그렇지 않으면value는 모델에 이미 존재하는 매개변수의 dtype으로 캐스팅됩니다. - fp16_statistics (
torch.HalfTensor, 선택 사항) — 모듈에 설정할 fp16 통계 목록으로, 8비트 모델 직렬화에 사용됩니다. - tied_params_map (Dict[int, Dict[torch.device, torch.Tensor]], 선택 사항, 기본값
None) — 현재 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑한 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 해당 디바이스에서 공유된 가중치의 첫 번째 사용 가능한 포인터를 다른 모든 가중치에 재사용하는 데 유용합니다. - non_blocking (
bool, 선택 사항, 기본값False) —True인 경우, 가능한 한 호스트에 대해 비동기적으로 디바이스 전송을 수행합니다. - clear_cache (
bool, 선택 사항, 기본값True) — 텐서를 디바이스에 설정한 후 디바이스 캐시를 지울지 여부입니다.
모듈의 주어진 텐서(파라미터 또는 버퍼)를 특정 장치에 설정하는 헬퍼 함수입니다(param.to(device)를 실행하면 파라미터에 연결되지 않은 새로운 텐서가 생성되므로 이 함수가 필요합니다).
accelerate.utils.get_module_children_bottom_up
< source >( model: Modulereturn_fqns: bool = False ) → list[torch.nn.Module]
모델을 하향식(bottom-up) 순서로 탐색하고 해당 순서대로 자식 모듈을 반환합니다.
병렬
이에는 병렬 작업 시 사용해야 하는 일반적인 유틸리티가 포함됩니다.
accelerate.utils.extract_model_from_parallel
< source >( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module
매개변수
- model (
torch.nn.Module) — 추출할 모델. - keep_fp32_wrapper (
bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다. - keep_torch_compile (
bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부. - recursive (
bool, 선택 사항, 기본값False) —model에서module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.
반환값
torch.nn.Module
추출된 모델.
…
accelerate.utils.save
< source >( objfsave_on_each_node: bool = Falsesafe_serialization: bool = False )
torch.save() 대신 데이터를 디스크에 저장합니다.
accelerate.utils.load
< source >( fmap_location = None**kwargs )
torch 버전이 2.4.0 이상인 경우 weights_only를 사용할 수 있는 torch.load()의 호환 가능한 드롭인 대체 함수입니다. 그렇지 않으면 해당 kwarg를 무시합니다.
numpy 배열에 대한 예외도 추가(그리고 제거)합니다
Introduces a blocking point in the script, making sure all processes have reached this point before continuing.
모든 프로세스가 이 지시를 도달하도록 확인하십시오. 그렇지 않으면 프로세스 중 하나가 영원히 멈추게 됩니다.
무작위
이 유틸리티는 모든 랜덤 상태를 설정하고 동기화하는 것과 관련이 있습니다.
accelerate.utils.set_seed
< source >( seed: intdevice_specific: bool = Falsedeterministic: bool = False )
random, numpy, torch에서 시드를 설정하여 재현 가능한 동작을 보장하는 헬퍼 함수입니다.
accelerate.utils.synchronize_rng_state
< source >( rng_type: str | accelerate.utils.dataclasses.RNGTypegenerator: torch.Generator | None = None )
device type로 식별되는 내장 RNG 또는 현재 accelerator의 RNG를 동기화합니다.
accelerate.synchronize_rng_states
< source >( rng_types: list[str | accelerate.utils.dataclasses.RNGType]generator: torch.Generator | None = None )
PyTorch XLA
여기에는 PyTorch를 XLA와 함께 사용할 때 유용한 유틸리티가 포함되어 있습니다.
accelerate.utils.install_xla
< source >( upgrade: bool = False )
Google Colaboratory에서 torch 버전에 따라 적절한 xla wheels를 설치하는 헬퍼 함수입니다.
모델 가중치 로드
load_checkpoint과 같은 체크포인트를 로드하는 데 유용한 유틸리티를 포함합니다.
accelerate.load_checkpoint_in_model
< source >( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )
매개변수
- model (
torch.nn.Module) — 체크포인트를 로드하려는 모델입니다. - checkpoint (
str또는os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:- 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
.json파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다- 유일한
.index.json파일과 체크포인트의 샤드가 포함된 폴더의 경로 - 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
- device_map (
Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. - offload_folder (
str또는os.PathLike, 선택 사항) —device_map에"disk"값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다. - dtype (
str또는torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다. - offload_state_dict (
bool, 선택 사항, 기본값False) —True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. - offload_buffers (
bool, 선택 사항, 기본값False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다. - keep_in_fp32_modules(
List[str], 선택 사항) —torch.float32dtype로 유지할 모듈 목록입니다. - offload_8bit_bnb (
bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다. - strict (
bool, 선택 사항, 기본값False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다. - full_state_dict (
bool, 선택 사항, 기본값True) — 이 값이True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다. - broadcast_from_rank0 (
False, 선택 사항, 기본값False) — 이 옵션이True인 경우 분산ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).
모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.
Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().
양자화
quantize 모델에 유용한 유틸리티를 포함합니다.
accelerate.utils.load_and_quantize_model
< source >( model: Modulebnb_quantization_config: BnbQuantizationConfigweights_location: str | os.PathLike | None = Nonedevice_map: dict[str, int | str | torch.device] | None = Noneno_split_module_classes: list[str] | None = Nonemax_memory: dict[int | str, int | str] | None = Noneoffload_folder: str | os.PathLike | None = Noneoffload_state_dict: bool = False ) → torch.nn.Module
매개변수
- model (
torch.nn.Module) — 입력 모델. 모델은 이미 로드되었거나 meta device에 있을 수 있습니다 - bnb_quantization_config (
BnbQuantizationConfig) — bitsandbytes 양자화 매개변수 - weights_location (
str또는os.PathLike) — 로드할 weights_location 폴더입니다. 다음 중 하나일 수 있습니다:- 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
.json파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다- 유일한
.index.json파일과 체크포인트의 샤드가 포함된 폴더의 경로 - 고유한 pytorch_model.bin 파일을 포함하는 폴더의 경로
- device_map (
Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. - no_split_module_classes (
List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어). - max_memory (
Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. - offload_folder (
str또는os.PathLike, 선택 사항) —device_map에"disk"값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다. - offload_state_dict (
bool, 선택 사항, 기본값False) —True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.
반환값
torch.nn.Module
양자화된 모델
이 함수는 bnb_quantization_config에 전달된 관련 설정을 사용하여 입력 모델을 양자화합니다. 모델이 meta 디바이스에 있는 경우, 전달된 device_map에 따라 가중치를 로드하고 디스패치합니다. 모델이 이미 로드된 경우, 모델을 양자화하고 GPU에 배치합니다.