Accelerate documentation

유틸리티 함수 및 클래스

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

유틸리티 함수 및 클래스

아래는 🤗 Accelerate가 제공하는 다양한 유틸리티 함수를 용도별로 정리한 것입니다.

상수

🤗 Accelerate 전체에서 참조용으로 사용되는 상수

다음은 Accelerator.save_state()를 사용할 때 사용되는 상수입니다.

utils.MODEL_NAME: "pytorch_model" utils.OPTIMIZER_NAME: "optimizer" utils.RNG_STATE_NAME: "random_states" utils.SCALER_NAME: "scaler.pt utils.SCHEDULER_NAME: "scheduler

다음은 Accelerator.save_model()을 사용할 때 사용되는 상수입니다.

utils.WEIGHTS_NAME: "pytorch_model.bin" utils.SAFE_WEIGHTS_NAME: "model.safetensors" utils.WEIGHTS_INDEX_NAME: "pytorch_model.bin.index.json" utils.SAFE_WEIGHTS_INDEX_NAME: "model.safetensors.index.json"

데이터 클래스

이것들은 🤗 Accelerate 전반에서 사용되는 기본적인 dataclass이며, 매개변수로 전달할 수 있습니다.

독립형

dataclass은 분산 시스템의 유형과 같은 항목을 확인하는 데 사용되는 독립형 클래스입니다.

클래스 accelerate.utils.ComputeEnvironment

< >

( *values )

계산 환경의 유형을 나타냅니다.

값:

  • LOCAL_MACHINE — 개인/사용자 지정 클러스터 하드웨어.
  • AMAZON_SAGEMAKER — Amazon SageMaker를 계산 환경으로 사용합니다.

class accelerate.DistributedType

< >

( *values )

분산 환경의 유형을 나타냅니다.

값:

  • NO — 분산 환경이 아닌 단일 프로세스입니다.
  • MULTI_CPU — 여러 CPU 노드에 분산 배치.
  • MULTI_GPU — 여러 GPU에 분산 배치.
  • MULTI_MLU — 여러 MLU에 분산 배치.
  • MULTI_SDAA — 여러 SDAA에 분산 배치.
  • MULTI_MUSA — 여러 MUSA에 분산 배치.
  • MULTI_NPU — 여러 NPU에 분산 배치.
  • MULTI_XPU — 여러 XPU에 분산 배치.
  • MULTI_HPU — 여러 HPU에 분산 배치.
  • MULTI_NEURON — 여러 Neuron 코어에 분산 배치됩니다.
  • DEEPSPEED — DeepSpeed 사용.
  • FSDP — Fully Sharded Data Parallelism(FSDP) 사용.
  • XLA — TorchXLA 사용.
  • MEGATRON_LM — Megatron-LM 사용.

클래스 accelerate.utils.DynamoBackend

< >

( *values )

dynamo 백엔드를 나타냅니다(자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html 참조).

값:

  • 아니요 — torch dynamo를 사용하지 마세요.
  • EAGER — PyTorch를 사용하여 추출된 GraphModule을 실행합니다. 이는 TorchDynamo 문제를 디버깅하는 데 매우 유용합니다.
  • AOT_EAGER — 컴파일러 없이 AotAutograd를 사용합니다. 즉, AotAutograd에서 추출된 forward 및 backward 그래프에 PyTorch eager만 사용하는 것입니다. 이는 디버깅에 유용하지만 속도 향상을 기대하기 어렵습니다.
  • INDUCTOR — codegen된 Triton 커널을 활용하여 AotAutograd와 cudagraphs를 사용하는 TorchInductor 백엔드를 사용합니다. 자세히 보기
  • AOT_TS_NVFUSER — AotAutograd/TorchScript와 함께 사용하는 nvFuser. 자세히 보기
  • NVPRIMS_NVFUSER — PrimTorch와 함께 사용하는 nvFuser. 자세히 보기
  • CUDAGRAPHS — AotAutograd와 함께 사용하는 cudagraphs. 자세히 보기
  • OFI — Torchscript의 optimize_for_inference를 사용합니다. 추론 전용입니다. 자세히 보기
  • FX2TRT — 추론 최적화에 Nvidia TensorRT를 사용합니다. 추론 전용입니다. 자세히 보기
  • ONNXRT — CPU/GPU에서 추론을 위해 ONNXRT를 사용합니다. 추론 전용입니다. 자세히 보기
  • TENSORRT — ONNXRT를 사용하여 추론 최적화를 위해 TensorRT를 실행합니다. 자세히 보기
  • AOT_TORCHXLA_TRACE_ONCE — 학습을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
  • TORCHXLA_TRACE_ONCE — 추론을 위해 TorchDynamo 최적화와 함께 Pytorch/XLA를 사용합니다. 자세히 보기
  • TVM — 추론 최적화에 Apache TVM을 사용합니다. 자세히 보기
  • HPU_BACKEND — 추론 최적화를 위해 HPU 백엔드를 사용합니다.
  • NEURON — Trainium/Inferentia를 위해 AWS Neuron 백엔드를 사용합니다.

클래스 accelerate.utils.LoggerType

< >

( *values )

지원되는 실험 트래커의 유형을 나타냅니다

값:

  • ALL — 환경에서 지원되는 모든 사용 가능한 트래커
  • TENSORBOARD — 실험 트래커로 사용하는 TensorBoard
  • WANDB — 실험 트래커로 사용할 wandb
  • TRACKIO — 실험 트래커로 사용하는 trackio
  • COMETML — comet_ml을 실험 트래커로 사용
  • MLFLOW — 실험 트래커로 mlflow
  • CLEARML — 실험 트래커로 사용하는 clearml
  • DVCLIVE — dvclive를 실험 트래커로 사용
  • SWANLAB — 실험 트래커로 사용하는 swanlab

class accelerate.utils.PrecisionType

< >

( *values )

부동 소수점 값에 사용되는 정밀도의 유형을 나타냅니다

값:

  • 아니요 — 전체 정밀도(FP32) 사용
  • FP16 — 반정밀도 사용
  • BF16 — brain floating point 정밀도 사용

class accelerate.utils.RNGType

< >

( *values )

클래스 accelerate.utils.SageMakerDistributedType

< >

( *values )

분산 환경의 유형을 나타냅니다.

값:

  • NO — 분산 환경이 아닌 단일 프로세스입니다.
  • DATA_PARALLEL — sagemaker 분산 데이터 병렬성 사용.
  • MODEL_PARALLEL — sagemaker 분산 모델 병렬성 사용.

Kwargs

이것은 Accelerate가 내부적으로 처리하는 PyTorch 생태계 전반의 특정 상호작용에 대한 구성 가능한 인자입니다.

class accelerate.AutocastKwargs

< >

( enabled: bool = Truecache_enabled: bool | None = None )

이 객체를 Accelerator에서 사용하여 torch.autocast의 동작 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 context manager의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.DistributedDataParallelKwargs

< >

( dim: int = 0broadcast_buffers: bool = Truebucket_cap_mb: int = 25find_unused_parameters: bool = Falsecheck_reduction: bool = Falsegradient_as_bucket_view: bool = Falsestatic_graph: bool = Falsecomm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>comm_state_option: dict = <factory> )

이 객체를 Accelerator에 사용하여 모델이 torch.nn.parallel.DistributedDataParallel로 래핑되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 정보는 이 wrapper의 문서를 참고하세요.

예:

from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.GradScalerKwargs

< >

( init_scale: float = 65536.0growth_factor: float = 2.0backoff_factor: float = 0.5growth_interval: int = 2000enabled: bool = True )

이 객체를 Accelerator에 사용하여 혼합 정밀도의 동작, 특히 사용되는 torch.amp.GradScaler 또는 torch.cuda.amp.GradScaler가 생성되는 방식을 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 scaler의 문서를 참조하세요.

예:

from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])

class accelerate.InitProcessGroupKwargs

< >

( backend: str | None = 'nccl'init_method: str | None = Nonetimeout: datetime.timedelta | None = None )

이 객체를 Accelerator에 사용하여 분산 프로세스의 초기화를 사용자 정의할 수 있습니다. 각 인자에 대한 자세한 내용은 이 메서드의 문서를 참고하세요.

참고: timeout이 None으로 설정된 경우, 기본값은 backend의 설정에 따라 결정됩니다.

from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])

클래스 accelerate.utils.KwargsHandler

< >

( )

dataclass에 to_kwargs() 메서드를 구현하는 내부 mixin입니다.

to_kwargs

< >

( )

이 클래스의 기본값과 값이 다른 속성을 포함하는 사전(dict)을 반환합니다.

플러그인

이들은 Accelerator 객체에 전달할 수 있는 플러그인입니다. 문서의 다른 곳에서 정의되어 있지만, 편의를 위해 여기에서 모두 확인할 수 있습니다:

class accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

매개변수

  • hf_ds_config (Any, 기본값 None) — DeepSpeed 설정 파일의 경로 또는 dict 또는 accelerate.utils.deepspeed.HfDeepSpeedConfig 클래스의 객체.
  • gradient_accumulation_steps (int, 기본값 None) — 옵티마이저 상태를 업데이트하기 전에 그래디언트를 누적할 단계 수입니다. 설정하지 않으면 Accelerator의 값을 그대로 사용합니다.
  • gradient_clipping (float, 기본값 None) — 지정한 값으로 기울기 클리핑을 활성화합니다.
  • zero_stage (int, 기본값 None) — 가능한 값은 0, 1, 2, 3입니다. 기본값은 환경 변수에서 가져옵니다.
  • is_train_batch_min (bool, 기본값 True) — train 및 eval dataloader가 모두 지정된 경우, train_batch_size를 결정합니다.
  • offload_optimizer_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stages 2와 3에서만 적용됩니다.
  • offload_param_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_optimizer_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_param_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • zero3_init_flag (bool, 기본값 None) — 16비트 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • zero3_save_16bit_model (bool, 기본값 None) — 16-bit 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • transformer_moe_cls_names (str, 기본값 None) — 대소문자를 구분하는 Transformers MoE 레이어 클래스 이름의 쉼표로 구분된 목록입니다. 예를 들어, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock 등입니다.

이 플러그인은 DeepSpeed를 통합하는 데 사용됩니다.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

kwargs의 값으로 DeepSpeed 구성을 처리합니다.

선택

< >

( _from_accelerator_state: bool = False )

현재 deepspeed 플러그인 구성을 사용하도록 HfDeepSpeedWeakref를 설정합니다

class accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

매개변수

  • fsdp_version (int, 기본값 1) — 사용할 FSDP 버전입니다. 기본값은 1입니다. 2로 설정하면 launcher는 설정이 FSDP2 형식으로 변환되었기를 기대합니다.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy], 기본값 'FULL_SHARD') — 사용할 샤딩 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy 인스턴스여야 합니다. reshard_after_forward 사용을 권장하며 비권장(deprecated)되었습니다.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool], fsdp_version=1의 경우 기본값은 'FULL_SHARD', fsdp_version=2의 경우 기본값은 True) — 사용할 샤딩 전략입니다. fsdp_version이 2로 설정된 경우 bool이어야 하고, 그렇지 않은 경우 str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy의 인스턴스여야 합니다.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch], 기본값 'NO_PREFETCH') — 사용할 Backward prefetch 전략입니다. str 또는 torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch 인스턴스여야 합니다.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]], 기본값 None) — FullyShardedDataParallel을 사용하여 혼합 정밀도 훈련을 활성화하기 위한 설정입니다. dict를 전달하는 경우, 다음 키를 가져야 합니다: param_dtype, reduce_dtype, buffer_dtype. fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.MixedPrecisionPolicy의 인스턴스일 수 있습니다. str을 전달하는 경우, 다음 값 중 하나여야 합니다: fp8, fp16, bf16, fp32. 이 값은 param_dtype, reduce_dtype, buffer_dtype를 설정하는 데 사용됩니다.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy], 기본값 False) — 파라미터를 CPU로 오프로드할지 여부입니다. bool 또는 fsdp_version이 2로 설정된 경우 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload 또는 torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy의 인스턴스여야 합니다.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]], 기본값 None) — FSDP로 래핑할 때 무시할 모듈 목록입니다. 문자열을 전달하면 정규식 fullmatch를 사용하여 모듈 이름을 기준으로 일치시킵니다. fsdp_version이 2로 설정되어 있으면, 해당 모듈은 파라미터로 변환되어 사용됩니다.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType], 기본값 'FULL_STATE_DICT') — 사용할 state dict 유형입니다. 문자열인 경우 full_state_dict, local_state_dict, 또는 sharded_state_dict 중 하나여야 합니다.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig], 기본값 None) — 사용할 state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig], 기본값 None) — 사용할 Optim state dict config입니다. 전달되지 않으면 state_dict_type에 따라 결정됩니다.
  • limit_all_gathers (bool, 기본값 True) — FSDP가 CPU 스레드를 명시적으로 동기화하여 과도한 in-flight all-gather를 방지할지 여부입니다. 이 bool은 all-gather를 스케줄링하는 sharded 전략에만 영향을 줍니다. 이 옵션을 활성화하면 CUDA malloc 재시도 횟수를 줄이는 데 도움이 될 수 있습니다.
  • use_orig_params (bool, 기본값 False) — 옵티마이저에 원래 파라미터를 사용할지 여부입니다.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None], 기본값 None) — 현재 meta device에 있는 모듈을 실제 device로 초기화하는 방법을 지정하는 Callable[torch.nn.Module] -> None입니다. sync_module_states가 True인 경우에만 적용됩니다. 기본적으로 모듈에 to_empty를 호출하는 lambda입니다.
  • sync_module_states (bool, 기본값 False) — 개별적으로 래핑된 각 FSDP 유닛이 초기화 후 모든 랭크에서 모듈 파라미터가 동일하도록 rank 0에서 모듈 파라미터를 브로드캐스트할지 여부입니다. cpu_ram_efficient_loading이 True인 경우를 제외하고 기본값은 False이며, 이 경우 해당 옵션은 강제로 활성화됩니다.
  • forward_prefetch (bool, 기본값 False) — forward pass 실행 중에 FSDP가 다음 all-gather를 명시적으로 미리 가져오도록 할지 여부입니다. Static graphs와 함께만 사용하세요.
  • activation_checkpointing (bool, 기본값 False) — 일부 레이어의 activations를 해제하고 backward pass 중에 다시 계산하여 메모리 사용량을 줄이는 기법입니다. 즉, 추가적인 계산 시간을 희생하여 메모리 사용량을 줄이는 방식입니다.
  • cpu_ram_efficient_loading (bool, 기본값 None) — True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 나머지 모든 프로세스는 빈 가중치를 가집니다. Transformers에만 적용됩니다. 이 옵션을 사용할 때 sync_module_states는 True여야 합니다.
  • transformer_cls_names_to_wrap (Optional[List[str]], 기본값 None) — 래핑할 transformer 레이어 클래스 이름 목록입니다. auto_wrap_policy가 transformer_based_wrap인 경우에만 적용됩니다.
  • min_num_params (Optional[int], 기본값 None) — 래핑될 모듈이 가져야 하는 최소 매개변수 수입니다. auto_wrap_policy가 size_based_wrap인 경우에만 적용됩니다.

이 플러그인은 완전 샤딩 데이터 병렬성을 활성화하는 데 사용됩니다.

set_auto_wrap_policy

< >

( model )

model을 기반으로 전달된 정책에 따라 auto_wrap_policy를 생성하고, transformer_cls_to_wrap를 사용할 수 있는지 확인합니다.

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

FSDP의 혼합 정밀도 정책을 설정합니다

set_state_dict_type

< >

( state_dict_type = None )

StateDictType에 따라 state dict 구성을 설정합니다.

validate_mixed_precision_policy

< >

( )

필요하지 않을 경우 가져오기를 피하기 위해 추상화되어 있는 혼합 정밀도 정책을 검증합니다.

class accelerate.utils.GradientAccumulationPlugin

< >

( num_steps: int = Noneadjust_scheduler: bool = Truesync_with_dataloader: bool = Truesync_each_batch: bool = False )

매개변수

  • num_steps (int) — 그라디언트를 누적할 스텝 수입니다.
  • adjust_scheduler (bool, 선택 사항, 기본값 True) — 스케줄러의 스텝을 누적되는 스텝 수를 고려하도록 조정할지 여부입니다. 사용하는 스케줄러가 그래디언트 축적을 위해 조정되지 않았다면 True여야 합니다.
  • sync_with_dataloader (bool, 선택 사항, 기본값 True) — dataloader의 끝에서 기울기를 설정할 때 동기화할지 여부.
  • sync_each_batch (bool, 선택 사항) — 각 데이터 배치에서 기울기를 설정할 때 동기화할지 여부. 분산 학습에서 기울기 축적을 사용할 때 True로 설정하면 속도가 느려지는 대신 메모리 요구량을 줄일 수 있습니다.

그라디언트 누적 동작을 구성하기 위한 플러그인입니다. Accelerator에는 gradient_accumulation_plugin 또는 gradient_accumulation_steps 중 하나만 전달할 수 있습니다. 둘 다 전달하면 오류가 발생합니다.

예:

from accelerate.utils import GradientAccumulationPlugin

gradient_accumulation_plugin = GradientAccumulationPlugin(num_steps=2)
accelerator = Accelerator(gradient_accumulation_plugin=gradient_accumulation_plugin)

class accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

매개변수

  • tp_degree (int, 기본값 None) — Tensor parallelism degree.
  • pp_degree (int, 기본값 None) — 파이프라인 병렬도입니다.
  • num_micro_batches (int, 기본값 None) — 마이크로 배치의 수.
  • gradient_clipping (float, 기본값 None) — 전역 L2 노름에 기반한 그라디언트 클리핑 값(0이면 비활성화).
  • sequence_parallelism (bool, 기본값 None) — 시퀀스 병렬화를 활성화합니다.
  • recompute_activations (bool, 기본값 None) — 선택적 활성화 재계산을 활성화합니다.
  • use_distributed_optimizer (bool, 기본값 None) — 분산 옵티마이저를 활성화합니다.
  • pipeline_model_parallel_split_rank (int, 기본값 None) — 인코더와 디코더를 분리할 랭크.
  • num_layers_per_virtual_pipeline_stage (int, 기본값 None) — 가상 파이프라인 단계별 레이어 수.
  • is_train_batch_min (str, 기본값 True) — train 및 eval dataloader가 모두 지정된 경우, 이 값이 micro_batch_size를 결정합니다.
  • train_iters (int, 기본값 None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수. MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다.
  • train_samples (int, 기본값 None) — 모든 학습 실행에 걸쳐 학습할 샘플의 총 개수. MegatronLMDummyScheduler를 사용할 때는 train-iters 또는 train-samples 중 하나를 제공해야 합니다.
  • weight_decay_incr_style (str, 기본값 'constant') — Weight decay 증가 함수. choices=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, 기본값 None) — L2 정규화를 위한 초기 weight decay 계수.
  • end_weight_decay (float, 기본값 None) — L2 정규화를 위한 실행 종료 시 weight decay 계수입니다.
  • lr_decay_style (str, 기본값 'linear') — 학습률 감쇠 함수. choices=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, 기본값 None) — 학습률 감쇠를 위한 반복 횟수입니다. None인 경우 기본값은 train_iters입니다.
  • lr_decay_samples (int, 기본값 None) — 학습률 감쇠에 사용할 샘플 수. None인 경우 기본값은 train_samples입니다.
  • lr_warmup_iters (int, 기본값 None) — 학습률을 선형으로 워밍업할 반복 횟수입니다.
  • lr_warmup_samples (int, 기본값 None) — 학습률을 선형으로 워밍업할 샘플 수입니다.
  • lr_warmup_fraction (float, 기본값 None) — 학습률을 선형으로 warmup할 lr-warmup-(iters/samples)의 비율.
  • min_lr (float, 기본값 0) — 학습률의 최소값입니다. 스케줄러는 이 임계값보다 작은 값을 이 값으로 잘라냅니다.
  • consumed_samples (List, 기본값 None) — accelerator.prepare 호출에 전달된 dataloader 순서와 동일한 순서로 소비된 샘플 수입니다.
  • no_wd_decay_cond (Optional, 기본값 None) — weight decay를 비활성화할 조건.
  • scale_lr_cond (Optional, 기본값 None) — 학습률을 스케일링할 조건.
  • lr_mult (float, 기본값 1.0) — 학습률 배율입니다.
  • megatron_dataset_flag (bool, 기본값 False) — 데이터셋의 형식이 Megatron-LM Indexed/Cached/MemoryMapped 형식을 따르는지 여부.
  • seq_length (int, 기본값 None) — 처리할 최대 시퀀스 길이입니다.
  • encoder_seq_length (int, 기본값 None) — 인코더에서 처리할 최대 시퀀스 길이입니다.
  • decoder_seq_length (int, 기본값 None) — 디코더에서 처리할 최대 시퀀스 길이입니다.
  • tensorboard_dir (str, 기본값 None) — tensorboard 로그를 저장할 경로입니다.
  • set_all_logging_options (bool, 기본값 False) — 모든 로깅 옵션을 설정할지 여부.
  • eval_iters (int, 기본값 100) — 평가용 검증/테스트를 실행할 반복 횟수입니다.
  • eval_interval (int, 기본값 1000) — 검증 세트에서 평가를 실행하는 간격입니다.
  • return_logits (bool, 기본값 False) — 모델에서 logits를 반환할지 여부.
  • custom_train_step_class (Optional, 기본값 None) — 사용자 정의 학습 단계 클래스입니다.
  • custom_train_step_kwargs (Optional, 기본값 None) — 사용자 정의 train step kwargs입니다.
  • custom_model_provider_function (Optional, 기본값 None) — 사용자 정의 모델 제공 함수입니다.
  • custom_prepare_model_function (Optional, 기본값 None) — 사용자 정의 prepare model 함수입니다.
  • custom_megatron_datasets_provider_function (Optional, 기본값 None) — 사용자 정의 megatron train_valid_test 데이터셋 제공자 함수입니다.
  • custom_get_batch_function (Optional, 기본값 None) — 사용자 정의 get batch 함수입니다.
  • custom_loss_function (Optional, 기본값 None) — 사용자 정의 손실 함수입니다.
  • other_megatron_args (Optional, 기본값 None) — 다른 Megatron-LM 인자입니다. Megatron-LM 문서를 참조하세요.

tensor, pipeline, sequence 및 data 병렬화를 활성화하는 Megatron-LM용 플러그인입니다. 또한 선택적 activation 재계산 및 최적화된 fused kernel을 활성화합니다.

클래스 accelerate.utils.TorchDynamoPlugin

< >

( backend: DynamoBackend = Nonemode: str = Nonefullgraph: bool = Nonedynamic: bool = Noneoptions: Any = Nonedisable: bool = Falseuse_regional_compilation: bool = None )

매개변수

  • backend (DynamoBackend, 기본값 None) — 유효한 Dynamo 백엔드입니다. 자세한 내용은 https://pytorch.org/docs/stable/torch.compiler.html을 참조하세요.
  • mode (str, 기본값 None) — 가능한 옵션은 ‘default’, ‘reduce-overhead’, ‘max-autotune’입니다.
  • fullgraph (bool, 기본값 None) — 모델을 여러 서브그래프로 나누는 것이 허용되는지 여부입니다.
  • dynamic (bool, 기본값 None) — 트레이싱에 동적 형상을 사용할지 여부입니다.
  • options (Any, 기본값 None) — 백엔드에 전달할 옵션의 사전입니다.
  • disable (bool, 기본값 False) — 테스트를 위해 torch.compile()을 no-op으로 만듭니다
  • use_regional_compilation (bool, 기본값 None) — GPT2LMHeadModel와 같이 동일한 클래스의 반복되는 블록을 대상으로 순차적으로 컴파일하여 컴파일러 캐시를 적중시킴으로써 GPT2Block의 model.transformer.h[0] 접근과 같은 방식으로 torch.compile()의 콜드 스타트 컴파일 시간을 줄이는 데 사용할 수 있습니다. 모델의 나머지 부분(예: model.lm_head)은 별도로 컴파일됩니다.

이 플러그인은 PyTorch 2.0으로 모델을 컴파일하는 데 사용됩니다.

구성

이것은 구성할 수 있으며 적절한 통합으로 전달할 수 있는 클래스입니다

class accelerate.utils.BnbQuantizationConfig

< >

( load_in_8bit: bool = Falsellm_int8_threshold: float = 6.0load_in_4bit: bool = Falsebnb_4bit_quant_type: str = 'fp4'bnb_4bit_use_double_quant: bool = Falsebnb_4bit_compute_dtype: str = 'fp16'torch_dtype: dtype = Noneskip_modules: list[str] = Nonekeep_in_fp32_modules: list[str] = None )

매개변수

  • load_in_8bit (bool, 기본값 False) — 8bit 양자화를 활성화합니다.
  • llm_int8_threshold (float, 기본값 6.0) — Outliner 임계값입니다. load_in_8bit=True일 때만 관련이 있습니다.
  • load_in_4bit (bool, 기본값 False) — 4bit 양자화를 활성화합니다.
  • bnb_4bit_quant_type (str, 기본값 fp4) — bnb.nn.Linear4Bit 레이어의 양자화 데이터 유형을 설정합니다. 선택지는 {‘fp4’,‘np4’}입니다.
  • bnb_4bit_use_double_quant (bool, 기본값 False) — 첫 번째 양자화에서 생성된 양자화 상수를 다시 양자화하는 중첩 양자화를 활성화합니다.
  • bnb_4bit_compute_dtype (bool, 기본값 fp16) — 입력 시점과 다를 수 있는 계산용 데이터 타입을 설정합니다. 예를 들어, 입력은 fp32일 수 있지만 속도를 높이기 위해 계산은 bf16으로 설정할 수 있습니다. 선택지는 {‘fp32’,‘fp16’,‘bf16’}입니다.
  • torch_dtype (torch.dtype, 기본값 None) — 이 값은 양자화되지 않은 나머지 레이어의 dtype을 설정합니다. bitsandbytes 라이브러리는 8비트 모델의 경우 값을 torch.float16으로 설정하고, 4비트 모델의 경우 compute dtype과 동일한 dtype을 사용할 것을 권장합니다.
  • skip_modules (List[str], 기본값 None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들의 dtype은 torch_dtype가 됩니다.
  • keep_in_fp32_modules (List, 기본값 None) — 양자화하지 않을 모듈의 명시적 목록입니다. 이 모듈들은 torch.float32로 유지됩니다.

BitsAndBytes 4bit 및 8bit 양자화를 활성화하는 플러그인

class accelerate.DataLoaderConfiguration

< >

( split_batches: bool = Falsedispatch_batches: bool = Noneeven_batches: bool = Trueuse_seedable_sampler: bool = Falsedata_seed: int = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = False )

매개변수

  • split_batches (bool, 기본값 False) — accelerator가 dataloader가 생성하는 배치들을 여러 장치에 걸쳐 나누어 사용할지 여부입니다. True인 경우, 실제 사용되는 배치 크기는 모든 분산 프로세스에서 동일하지만, 사용하는 num_processes의 정수 배여야 합니다. False인 경우, 실제 사용되는 배치 크기는 스크립트에서 설정한 값에 프로세스 수를 곱한 값이 됩니다.
  • dispatch_batches (bool, 기본값 None) — True로 설정하면, Accelerator로 준비된 dataloader는 메인 프로세스에서만 반복되고, 이후 배치들이 분할되어 각 프로세스로 브로드캐스트됩니다. DataLoader의 기본 데이터셋이 IterableDataset인 경우 기본값은 True, 그 외에는 False입니다.
  • even_batches (bool, 기본값 True) — True로 설정하면, 모든 프로세스에 걸친 전체 배치 크기로 데이터셋을 정확히 나누어 떨어지지 않는 경우, 배치의 균등한 분할을 위해 데이터셋의 앞부분 샘플이 중복됩니다.
  • use_seedable_sampler (bool, 기본값 False) — 완전히 시드 설정이 가능한 랜덤 샘플러(data_loader.SeedableRandomSampler)를 사용할지 여부입니다. 다른 샘플링 기법을 사용하여 학습 결과가 완전히 재현 가능하도록 보장합니다. 시드 간 결과에는 차이가 있을 수 있지만, 여러 다른 시드를 사용하여 비교할 경우 평균적으로 차이는 무시할 수 있을 정도로 작습니다. 최적의 결과를 얻으려면 set_seed()와 함께 실행해야 합니다.
  • data_seed (int, 기본값 None) — use_seedable_sampler을 사용할 때 내부 생성기에 사용할 시드입니다. None인 경우 생성기는 torch의 현재 기본 시드를 사용합니다.
  • non_blocking (bool, 기본값 False) — True로 설정하면 Accelerator가 준비한 dataloader는 non-blocking host-to-device 전송을 사용하여 dataloader 통신과 계산 간의 오버랩을 개선할 수 있습니다. 올바르게 작동하려면 준비된 dataloader의 pin_memory가 True로 설정되어 있어야 합니다.
  • use_stateful_dataloader (bool, 기본값 False) — True로 설정하면, Accelerator가 준비한 dataloader는 torchdata.StatefulDataLoader를 기반으로 합니다. 이를 위해 StatefulDataLoader를 지원하는 torchdata 0.8.0 이상 버전이 설치되어 있어야 합니다.

accelerator.prepare를 호출할 때 dataloader 관련 항목에 대한 설정입니다.

클래스 accelerate.utils.ProjectConfiguration

< >

( project_dir: str = Nonelogging_dir: str = Noneautomatic_checkpoint_naming: bool = Falsetotal_limit: int = Noneiteration: int = 0save_on_each_node: bool = False )

매개변수

  • project_dir (str, 기본값 None) — 데이터를 저장할 디렉토리의 경로입니다.
  • logging_dir (str, 기본값 None) — 로컬 호환 로거의 로그를 저장할 디렉토리의 경로입니다. None인 경우 기본값은 project_dir입니다.
  • automatic_checkpoint_naming (bool, 기본값 False) — 저장된 상태를 자동으로 순차적으로 이름 붙일지 여부.
  • total_limit (int, 기본값 None) — 보관할 총 저장 상태의 최대 개수입니다.
  • iteration (int, 기본값 0) — 현재 저장 반복 횟수입니다.
  • save_on_each_node (bool, 기본값 False) — 멀티 노드 분산 학습을 수행할 때, 모델과 체크포인트를 각 노드에 저장할지 아니면 메인 노드에만 저장할지를 결정합니다.

내부 프로젝트의 요구 사항에 기반한 Accelerator 객체의 구성

set_directories

< >

( project_dir: str | None = None )

self.project_dir와 self.logging_dir를 적절한 값으로 설정합니다.

환경 변수

이것은 다양한 사용 사례에 대해 활성화할 수 있는 환경 변수입니다

  • ACCELERATE_DEBUG_MODE (str): accelerate를 디버그 모드로 실행할지 여부. 자세한 내용은 여기에서 확인할 수 있습니다.

데이터 조작 및 연산

여기에는 동일한 torch 연산을 모방하는 데이터 연산이 포함되며, 분산 프로세스에서 사용할 수 있습니다.

accelerate.utils.broadcast

< >

( tensorfrom_process: int = 0 )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.
  • from_process (int, 선택 사항, 기본값 0) — 데이터를 보낼 프로세스

Recursively broadcast tensor in a nested list/tuple/dictionary of tensors to all devices.

accelerate.utils.broadcast_object_list

< >

( object_listfrom_process: int = 0 )

매개변수

  • object_list (picklable 객체의 list) — 브로드캐스트할 객체의 목록입니다. 이 목록은 inplace로 수정됩니다.
  • from_process (int, 선택 사항, 기본값 0) — 데이터를 보낼 프로세스입니다.

…

accelerate.utils.concatenate

< >

( datadim = 0 )

매개변수

  • data (텐서 목록의 중첩된 리스트/튜플/딕셔너리 torch.Tensor) — 연결할 데이터.
  • dim (int, 선택 사항, 기본값 0) — 연결할 차원.

동일한 shape를 가진 텐서들의 리스트로 이루어진 중첩된 리스트/튜플/딕셔너리의 텐서를 재귀적으로 연결합니다. 데이터가 단일 배치인 경우 그대로 반환됩니다.

accelerate.utils.convert_outputs_to_fp32

< >

( model_forward )

accelerate.utils.convert_to_fp32

< >

( tensor )

매개변수

  • tensor (중첩된 리스트/튜플/딕셔너리, torch.Tensor) — FP16/BF16에서 FP32로 변환할 데이터.

FP16/BF16 정밀도의 텐서로 구성된 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 FP32로 변환합니다.

accelerate.utils.gather

< >

( tensor )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.

모든 디바이스에서 중첩된 리스트/튜플/딕셔너리 형태의 텐서에서 텐서를 재귀적으로 수집합니다.

accelerate.utils.gather_object

< >

( object: Any )

매개변수

  • object (pickle 가능한 객체의 중첩된 list/tuple/dictionary) — 수집할 데이터.

…

accelerate.utils.get_grad_scaler

< >

( distributed_type: DistributedType = None**kwargs )

매개변수

  • distributed_type (DistributedType, 선택 사항, 기본값 None) — 분산 환경의 유형입니다.
  • kwargs — 사용되는 GradScaler 생성자에 대한 추가 인자.

환경에 따라 올바른 GradScaler 구현을 초기화하고 이를 반환하는 범용 헬퍼입니다.

accelerate.utils.get_mixed_precision_context_manager

< >

( native_amp: bool = Falseautocast_kwargs: AutocastKwargs = None )

매개변수

  • native_amp (bool, 선택 사항, 기본값 False) — 혼합 정밀도가 실제로 활성화되어 있는지 여부.

혼합 정밀도 자동 캐스팅을 위한 컨텍스트 매니저를 반환합니다

accelerate.utils.listify

< >

( data )

매개변수

  • data (torch.Tensor의 중첩 리스트/튜플/딕셔너리) — 일반 숫자로 변환할 데이터.

중첩된 리스트/튜플/딕셔너리 내에서 텐서를 재귀적으로 찾아 숫자 리스트로 변환합니다.

accelerate.utils.pad_across_processes

< >

( tensordim = 0pad_index = 0pad_first = False )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 모을 데이터.
  • dim (int, 선택 사항, 기본값 0) — 패딩을 적용할 차원.
  • pad_index (int, 선택 사항, 기본값 0) — 패딩에 사용할 값.
  • pad_first (bool, 선택 사항, 기본값 False) — 시작 부분에 패딩을 적용할지 끝 부분에 패딩을 적용할지를 결정합니다.

모든 디바이스의 중첩된 리스트/튜플/딕셔너리 내 텐서를 재귀적으로 패딩하여 동일한 크기로 맞춘 후 안전하게 수집할 수 있도록 합니다.

accelerate.utils.recursively_apply

< >

( funcdata*argstest_type = <function is_torch_tensor at 0x7f7be94c4460>error_on_other_type = False**kwargs )

매개변수

  • func (callable) — 재귀적으로 적용할 함수.
  • data (test_type가 허용하는 객체의 중첩된 리스트/튜플/딕셔너리) — func를 적용할 데이터
  • *args — 압축 해제된 데이터에 func를 적용할 때 func로 전달되는 위치 인자.
  • test_type (Callable[[Any], bool], 선택 사항, 기본값 is_torch_tensor) — func를 주어진 리프 객체에 적용할지 여부를 결정하는 술어입니다.
  • error_on_other_type (bool, 선택 사항, 기본값 False) — data를 언패킹한 후 test_type가 False를 반환하는 객체를 만나면 오류를 반환할지 여부입니다. False인 경우, 함수는 해당 객체를 변경하지 않고 그대로 유지합니다.
  • **kwargs (추가 키워드 인자, 선택 사항) — 패킹이 해제된 데이터에 func를 적용할 때 전달되는 키워드 인자입니다.

…

accelerate.utils.reduce

< >

( tensorreduction = 'mean'scale = 1.0 )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 축소할 데이터.
  • reduction (str, 선택 사항, 기본값 "mean") — 감소 방법입니다. “mean”, “sum”, “max”, “none” 중 하나를 사용할 수 있습니다.
  • scale (float, 선택 사항) — reduce 이후에 적용할 기본 스케일링 값입니다. XLA에서만 유효합니다.

…

accelerate.utils.send_to_device

< >

( tensordevicenon_blocking = Falseskip_keys = None )

매개변수

  • tensor (torch.Tensor의 중첩된 리스트/튜플/딕셔너리) — 주어진 디바이스로 전송할 데이터.
  • device (torch.device) — 데이터를 전송할 장치.
  • non_blocking (bool, 선택 사항, 기본값 False) — True인 경우, 디바이스로의 전송이 비동기적으로 수행되어 데이터 이동과 계산을 겹칠 수 있습니다. 디바이스가 이를 지원하는 경우에만(예: CUDA) 유효합니다.
  • skip_keys (str 또는 List[str], 선택 사항) — tensor 딕셔너리에서 값이 주어진 device로 전송되지 않아야 하는 키 또는 키 목록입니다. 이 키를 가진 항목은 원래 있던 device에 그대로 유지됩니다.

텐서로 이루어진 중첩된 리스트/튜플/딕셔너리의 요소를 재귀적으로 지정된 장치로 전송합니다.

accelerate.utils.slice_tensors

< >

( datatensor_sliceprocess_index = Nonenum_processes = None )

매개변수

  • data (torch.Tensor의 중첩 리스트/튜플/딕셔너리) — 슬라이싱할 데이터.
  • tensor_slice (slice) — 추출할 슬라이스입니다.

Recursively takes a slice in a nested list/tuple/dictionary of tensors.

환경 확인

이러한 기능은 운영체제 자체에 대한 정보, 운영체제가 지원할 수 있는 항목, 그리고 특정 의존성이 설치되어 있는지 여부와 같은 현재 작업 환경의 상태를 확인합니다.

accelerate.utils.is_bf16_available

< >

( ignore_tpu = False )

bf16이 지원되는지 확인하며, TPU를 선택적으로 무시합니다

accelerate.utils.is_mps_available

< >

( min_version = '1.12' )

MPS 디바이스가 사용 가능한지 확인합니다. 필요한 최소 버전은 1.12입니다.

accelerate.utils.is_npu_available

( check_device = False )

torch_npu가 설치되어 있는지, 그리고 환경에 NPU가 있는지 확인합니다

accelerate.utils.is_torch_version

< >

( operation: strversion: str )

매개변수

  • operation (str) — ">" 또는 "<="와 같은 연산자의 문자열 표현
  • version (str) — PyTorch의 문자열 버전

…

accelerate.utils.is_torch_xla_available

( check_is_tpu = Falsecheck_is_gpu = False )

torch_xla가 사용 가능한지 확인합니다. torch xla가 설치된 환경에서 네이티브 pytorch 작업을 학습하려면 USE_TORCH_XLA를 false로 설정합니다.

accelerate.utils.is_xpu_available

( check_device = False )

stock PyTorch (>=2.7)를 통해 XPU 가속이 사용 가능한지, 그리고 환경에 XPU가 존재하는지 확인합니다

환경 조작

accelerate.utils.patch_environment

< >

( **kwargs )

os.environ에 전달된 각 키워드 인수를 추가하고, 종료 시 제거하는 컨텍스트 매니저입니다.

kwargs의 값을 문자열로 변환하고 모든 키를 대문자로 변환합니다.

예:

>>> import os
>>> from accelerate.utils import patch_environment

>>> with patch_environment(FOO="bar"):
...     print(os.environ["FOO"])  # prints "bar"
>>> print(os.environ["FOO"])  # raises KeyError

accelerate.utils.clear_environment

< >

( )

환경 변수를 일시적으로 지우는 컨텍스트 매니저입니다.

이 컨텍스트를 벗어나면 이전 환경 변수가 복원됩니다.

예:

>>> import os
>>> from accelerate.utils import clear_environment

>>> os.environ["FOO"] = "bar"
>>> with clear_environment():
...     print(os.environ)
...     os.environ["FOO"] = "new_bar"
...     print(os.environ["FOO"])
{}
new_bar

>>> print(os.environ["FOO"])
bar

accelerate.commands.config.default.write_basic_config

< >

( mixed_precision = 'no'save_location: str = '/home/runner/.cache/huggingface/accelerate/default_config.yaml' )

매개변수

  • mixed_precision (str, 선택 사항, 기본값 “no”) — 사용할 Mixed Precision입니다. “no”, “fp16”, “bf16” 중 하나여야 합니다.
  • save_location (str, 선택 사항, 기본값은 default_json_config_file) — 선택적인 사용자 지정 저장 위치입니다. accelerate launch를 사용할 때 --config_file에 전달해야 합니다. 기본 위치는 huggingface 캐시 폴더(~/.cache/huggingface) 내부이지만, HF_HOME 환경 변수를 설정하여 accelerate/default_config.yaml을 덮어쓸 수 있습니다.

로컬 머신에서, 잠재적으로 여러 GPU를 사용하여 사용할 기본 클러스터 구성을 생성하고 저장합니다. CPU 전용 머신인 경우 CPU도 설정합니다.

🤗 Accelerate를 처음 설정할 때, accelerate config 대신 [~utils.write_basic_config]을 사용하여 빠르게 설정할 수 있습니다.

accelerate.utils.set_numa_affinity

( local_process_index: intverbose: bool | None = None )

매개변수

  • local_process_index (int) — 현재 서버에서 현재 프로세스의 인덱스입니다.
  • verbose (bool, 선택 사항) — 각 프로세스에 대한 새로운 CPU 코어 할당을 출력할지 여부입니다. ACCELERATE_DEBUG_MODE가 활성화되어 있으면 기본적으로 True로 설정됩니다.

현재 프로세스를 특정 NUMA 노드에 할당합니다. 각 노드에 CPU가 최소 2개 이상 있을 때 가장 효율적입니다.

이 결과는 호출 사이에 캐시됩니다. 이를 오버라이드하려면 accelerate.utils.environment.override_numa_afifnity를 사용하세요.

accelerate.utils.environment.override_numa_affinity

< >

( local_process_index: intverbose: bool | None = None )

매개변수

  • local_process_index (int) — 현재 서버에서 현재 프로세스의 인덱스입니다.
  • verbose (bool, 선택 사항) — 각 CPU의 할당을 로그로 출력할지 여부입니다. ACCELERATE_DEBUG_MODE가 활성화되어 있으면 기본값은 True입니다.

현재 프로세스에 설정된 NUMA affinity를 무시합니다. 이는 매우 부담이 크며, 설정할 affinity를 다시 계산해야 하므로, 가능하면 utils.environment.set_numa_affinity를 사용하는 것이 좋습니다.

accelerate.utils.purge_accelerate_environment

< >

( func_or_cls )

장식된 클래스 또는 함수가 설정한 accelerate 환경 변수를 정리하는 데코레이터입니다.

일부 상황에서 특정 클래스나 함수를 호출하면 accelerate 환경 변수가 설정된 후 정리되지 않을 수 있습니다. 예를 들어, 다음을 호출할 때:

TrainingArguments(fp16=True, …)

다음 환경 변수가 설정됩니다:

ACCELERATE_MIXED_PRECISION=fp16

이 환경 변수는 TrainingArguments(fp16=False)보다 우선하므로, 후속 코드에 영향을 줄 수 있습니다. 이는 각 테스트가 서로에게 부수 효과를 주지 않도록 해야 하는 단위 테스트에서 특히 중요합니다. 각 테스트가 끝난 후 환경 변수가 정리되도록 보장하려면, 이 데코레이터로 단위 테스트 함수나 전체 클래스를 장식하십시오. 이 데코레이터는 unittest.TestCase와 일반 클래스(pytest) 모두에서 동작하며, 부모 클래스를 장식하는 경우에도 동작합니다.

메모리

accelerate.find_executable_batch_size

< >

( function: callable | None = Nonestarting_batch_size: int = 128reduce_batch_size_fn: callable | None = None )

매개변수

  • function (callable, 선택 사항) — 래핑할 함수
  • starting_batch_size (int, 선택 사항) — 메모리에 적재하기 위해 시도할 배치 크기
  • reduce_batch_size_fn (callable, 선택 사항) — 메모리 부족 오류 발생 후 새로운 배치 크기를 결정하는 함수입니다. 제공되지 않으면 실패할 때마다 배치 크기가 0.9배로 곱해집니다. 이 함수는 인자를 받지 않으며, 새로운(줄어든) 배치 크기를 int로 반환해야 합니다.

function을 실행하려고 시도하는 기본 데코레이터입니다. 메모리 부족 또는 CUDNN과 관련된 예외로 실패하면 배치 크기를 0.9로 곱한 후 function에 전달합니다.

function은 첫 번째 인수로 batch_size 매개변수를 받아야 합니다.

예:

>>> from accelerate.utils import find_executable_batch_size


>>> @find_executable_batch_size(starting_batch_size=128)
... def train(batch_size, model, optimizer):
...     ...


>>> train(model, optimizer)

모델링

이 유틸리티는 PyTorch 모델과 상호 작용하는 것과 관련이 있습니다

accelerate.utils.calculate_maximum_sizes

< >

( model: Module )

모델의 전체 크기와 가장 큰 레이어의 크기를 계산합니다

accelerate.utils.compute_module_sizes

< >

( model: Moduledtype: str | torch.device | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonebuffers_only: bool = False )

주어진 모델의 각 서브모듈의 크기를 계산합니다.

accelerate.utils.extract_model_from_parallel

< >

( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 추출할 모델.
  • keep_fp32_wrapper (bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다.
  • keep_torch_compile (bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부.
  • recursive (bool, 선택 사항, 기본값 False) — model에서 module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.

반환값

torch.nn.Module

추출된 모델.

…

accelerate.utils.get_balanced_memory

< >

( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.device] | None = Nonelow_zero: bool = False )

매개변수

  • model (torch.nn.Module) — 분석할 모델.
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예: max_memory={0: "1GB"}.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • special_dtypes (Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다).
  • low_zero (bool, 선택 사항) — GPU 0에 있는 가중치의 수를 최소화합니다. 이는 Transformers의 generate 함수와 같은 다른 작업에 GPU 0을 사용할 때 유용합니다.

사용 가능한 각 GPU의 사용량을 균형 있게 조절하기 위해 infer_auto_device_map()에 사용할 max_memory 사전(dictionary)을 계산합니다.

모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은 init_empty_weights 컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.

accelerate.utils.get_max_layer_size

< >

( modules: list[tuple[str, torch.nn.Module]]module_sizes: dict[str, int]no_split_module_classes: list[str] ) → Tuple[int, List[str]]

매개변수

  • modules (List[Tuple[str, torch.nn.Module]]) — 최대 레이어 크기를 결정하려는 이름이 지정된 모듈 목록입니다.
  • module_sizes (Dict[str, int]) — 각 레이어 이름을 해당 크기(compute_module_sizes로 생성된 값)로 매핑하는 사전입니다.
  • no_split_module_classes (List[str]) — 분할하지 않으려는 레이어의 클래스 이름 목록입니다.

반환값

Tuple[int, List[str]]

해당 최대 크기를 실현하는 레이어 이름 목록을 가진 레이어의 최대 크기.

명명된 모듈 목록을 스캔하여 하나의 완전한 레이어가 사용하는 최대 크기를 반환하는 유틸리티 함수입니다. 여기서 레이어의 정의는 다음과 같습니다:

  • 직접적인 자식 모듈이 없는 모듈(파라미터와 버퍼만 포함)
  • 클래스 이름이 no_split_module_classes 목록에 포함된 모듈

accelerate.infer_auto_device_map

< >

( model: Modulemax_memory: dict[int | str, int | str] | None = Noneno_split_module_classes: list[str] | None = Nonedtype: str | torch.dtype | None = Nonespecial_dtypes: dict[str, str | torch.dtype] | None = Noneverbose: bool = Falseclean_result: bool = Trueoffload_buffers: bool = Falsefallback_allocation: bool = False )

매개변수

  • model (torch.nn.Module) — 분석할 모델.
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다. 예: max_memory={0: "1GB"}.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • special_dtypes (Dict[str, Union[str, torch.device]], 선택 사항) — 제공된 경우, 특정 가중치에 대해 고려할 특수한 dtype입니다(모든 가중치에 기본적으로 사용되는 dtype를 덮어씁니다).
  • verbose (bool, 선택 사항, 기본값 False) — device_map을 구성하는 동안 디버깅 문구를 제공할지 여부입니다.
  • clean_result (bool, 선택 사항, 기본값 True) — 같은 디바이스에 배치되는 모든 서브모듈을 그룹화하여 결과 device_map을 정리합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — CPU 또는 하드 드라이브로 오프로드되는 레이어에서 파라미터와 함께 버퍼도 오프로드할지 여부.
  • fallback_allocation (bool, 선택 사항, 기본값 False) — 일반 할당이 실패하면 BFS를 사용해 크기 제한에 맞는 모듈을 할당하도록 시도합니다.

GPU에 우선순위를 두고 주어진 모델에 대한 device map을 계산한 다음 CPU로 오프로드하고, 마지막으로 디스크로 오프로드합니다.

  • GPU 중 어느 것의 사용 가능 메모리도 초과하지 않습니다.
  • CPU로의 offload가 필요한 경우, GPU 0에는 항상 CPU에 offload된 레이어 중 가장 큰 크기의 레이어를 다시 올릴 수 있는 여유 공간이 있습니다.
  • CPU로의 offload가 필요한 경우, CPU에서 사용 가능한 RAM을 초과하지 않습니다.
  • 디스크 오프로딩이 필요한 경우에도, 디스크에 오프로드된 레이어 중 가장 큰 크기를 가진 레이어를 CPU로 다시 올릴 수 있는 공간이 항상 남아 있습니다.

모든 계산은 모델 파라미터의 크기와 dtype를 분석하여 수행됩니다. 그 결과, 모델은 init_empty_weights 컨텍스트 매니저 내에서 초기화된 경우와 마찬가지로 meta 디바이스에 있을 수 있습니다.

accelerate.load_checkpoint_in_model

< >

( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )

매개변수

  • model (torch.nn.Module) — 체크포인트를 로드하려는 모델입니다.
  • checkpoint (str 또는 os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다.
  • keep_in_fp32_modules(List[str], 선택 사항) — torch.float32 dtype로 유지할 모듈 목록입니다.
  • offload_8bit_bnb (bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다.
  • strict (bool, 선택 사항, 기본값 False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다.
  • full_state_dict (bool, 선택 사항, 기본값 True) — 이 값이 True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다.
  • broadcast_from_rank0 (False, 선택 사항, 기본값 False) — 이 옵션이 True인 경우 분산 ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).

모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.

Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().

accelerate.utils.load_offloaded_weights

< >

( modelindexoffload_folder )

매개변수

  • model (torch.nn.Module) — 가중치를 로드할 모델.
  • index (dict) — 모델에서 오프로드된 각 매개변수에 대해 매개변수 이름과 해당 메타데이터를 포함하는 사전입니다.
  • offload_folder (str) — 오프로드된 가중치가 저장되는 폴더입니다.

offload 폴더에서 가중치를 모델로 로드합니다.

accelerate.utils.load_state_dict

< >

( checkpoint_filedevice_map = None )

매개변수

  • checkpoint_file (str) — 로드할 체크포인트의 경로입니다.
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.

… 파일에서 체크포인트를 로드합니다. 체크포인트가 safetensors 형식이고 device map이 전달되면, 가중치를 GPU에 직접 빠르게 로드할 수 있습니다.

accelerate.utils.offload_state_dict

< >

( save_dir: str | os.PathLikestate_dict: dict[str, torch.Tensor] )

매개변수

  • save_dir (str 또는 os.PathLike) — state dict를 offload할 디렉터리입니다.
  • state_dict (Dict[str, torch.Tensor]) — 오프로드할 텐서의 사전입니다.

…

accelerate.utils.retie_parameters

< >

( modeltied_params )

매개변수

  • model (torch.nn.Module) — 파라미터를 다시 연결할 모델.
  • tied_params (List[List[str]]) — find_tied_parameters를 통해 얻은 매핑된 파라미터 이름과 연결된 파라미터 이름입니다.

링크가 끊어진 경우(예: 훅을 추가할 때) 주어진 모델의 연결된 매개변수를 다시 연결합니다.

accelerate.utils.set_module_tensor_to_device

< >

( module: Moduletensor_name: strdevice: int | str | torch.devicevalue: torch.Tensor | None = Nonedtype: str | torch.dtype | None = Nonefp16_statistics: torch.HalfTensor | None = Nonetied_params_map: dict[int, dict[torch.device, torch.Tensor]] | None = Nonenon_blocking: bool = Falseclear_cache: bool = True )

매개변수

  • module (torch.nn.Module) — 이동하려는 텐서가 포함된 모듈입니다.
  • tensor_name (str) — 파라미터/버퍼의 전체 이름.
  • device (int, str 또는 torch.device) — 텐서를 설정할 장치입니다.
  • value (torch.Tensor, 선택 사항) — 텐서의 값 (meta 디바이스에서 다른 디바이스로 이동할 때 유용합니다).
  • dtype (torch.dtype, 선택 사항) — 값이 전달되면 해당 매개변수의 값은 이 dtype으로 캐스팅됩니다. 그렇지 않으면 value는 모델에 이미 존재하는 매개변수의 dtype으로 캐스팅됩니다.
  • fp16_statistics (torch.HalfTensor, 선택 사항) — 모듈에 설정할 fp16 통계 목록으로, 8비트 모델 직렬화에 사용됩니다.
  • tied_params_map (Dict[int, Dict[torch.device, torch.Tensor]], 선택 사항, 기본값 None) — 현재 데이터 포인터를 디바이스별 이미 디스패치된 tied weights 사전으로 매핑한 맵입니다. 주어진 실행 디바이스에 대해, 이 매개변수는 메모리를 중복하지 않고 해당 디바이스에서 공유된 가중치의 첫 번째 사용 가능한 포인터를 다른 모든 가중치에 재사용하는 데 유용합니다.
  • non_blocking (bool, 선택 사항, 기본값 False) — True인 경우, 가능한 한 호스트에 대해 비동기적으로 디바이스 전송을 수행합니다.
  • clear_cache (bool, 선택 사항, 기본값 True) — 텐서를 디바이스에 설정한 후 디바이스 캐시를 지울지 여부입니다.

모듈의 주어진 텐서(파라미터 또는 버퍼)를 특정 장치에 설정하는 헬퍼 함수입니다(param.to(device)를 실행하면 파라미터에 연결되지 않은 새로운 텐서가 생성되므로 이 함수가 필요합니다).

accelerate.utils.get_module_children_bottom_up

< >

( model: Modulereturn_fqns: bool = False ) → list[torch.nn.Module]

매개변수

  • model (torch.nn.Module) — 자식들을 가져올 모델

반환값

list[torch.nn.Module]

model의 하위 모듈 목록을 하향식 순서로 나열합니다. 마지막 요소는 model 자체입니다.

모델을 하향식(bottom-up) 순서로 탐색하고 해당 순서대로 자식 모듈을 반환합니다.

병렬

이에는 병렬 작업 시 사용해야 하는 일반적인 유틸리티가 포함됩니다.

accelerate.utils.extract_model_from_parallel

< >

( modelkeep_fp32_wrapper: bool = Truekeep_torch_compile: bool = Truerecursive: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 추출할 모델.
  • keep_fp32_wrapper (bool, 선택 사항) — 모델에서 혼합 정밀도 훅을 제거할지 여부입니다.
  • keep_torch_compile (bool, 선택 사항) — 컴파일된 모델을 언래핑할지 여부.
  • recursive (bool, 선택 사항, 기본값 False) — model에서 module.module의 모든 인스턴스를 재귀적으로 추출하고, 최상위 분산 컨테이너뿐만 아니라 하위 서브레이어도 재귀적으로 언래핑할지 여부.

반환값

torch.nn.Module

추출된 모델.

…

accelerate.utils.save

< >

( objfsave_on_each_node: bool = Falsesafe_serialization: bool = False )

매개변수

  • obj — 저장할 데이터
  • f — 데이터를 저장할 파일(또는 파일 유사 객체)
  • save_on_each_node (bool, 선택 사항, 기본값 False) — 글로벌 메인 프로세스에서만 저장할지 여부
  • safe_serialization (bool, 선택 사항, 기본값 False) — obj를 safetensors로 저장할지, 아니면 pickle을 사용하는 전통적인 PyTorch 방식으로 저장할지를 결정합니다.

torch.save() 대신 데이터를 디스크에 저장합니다.

accelerate.utils.load

< >

( fmap_location = None**kwargs )

매개변수

  • f — 데이터를 로드하는 데 사용할 파일(또는 파일 유사 객체)
  • map_location — 스토리지 위치를 어떻게 재매핑할지 지정하는 함수, torch.device, 문자열 또는 dict
  • **kwargs — torch.load()에 전달할 추가 키워드 인자.

torch 버전이 2.4.0 이상인 경우 weights_only를 사용할 수 있는 torch.load()의 호환 가능한 드롭인 대체 함수입니다. 그렇지 않으면 해당 kwarg를 무시합니다.

numpy 배열에 대한 예외도 추가(그리고 제거)합니다

accelerate.utils.wait_for_everyone

< >

( )

Introduces a blocking point in the script, making sure all processes have reached this point before continuing.

모든 프로세스가 이 지시를 도달하도록 확인하십시오. 그렇지 않으면 프로세스 중 하나가 영원히 멈추게 됩니다.

무작위

이 유틸리티는 모든 랜덤 상태를 설정하고 동기화하는 것과 관련이 있습니다.

accelerate.utils.set_seed

< >

( seed: intdevice_specific: bool = Falsedeterministic: bool = False )

매개변수

  • seed (int) — 설정할 시드입니다.
  • device_specific (bool, 선택 사항, 기본값 False) — self.process_index를 사용하여 각 디바이스에서 시드를 약간 다르게 설정할지 여부.
  • deterministic (bool, 선택 사항, 기본값 False) — 사용 가능한 경우 결정론적 알고리즘을 사용할지 여부입니다. 학습 속도가 느려질 수 있습니다.

random, numpy, torch에서 시드를 설정하여 재현 가능한 동작을 보장하는 헬퍼 함수입니다.

accelerate.utils.synchronize_rng_state

< >

( rng_type: str | accelerate.utils.dataclasses.RNGTypegenerator: torch.Generator | None = None )

device type로 식별되는 내장 RNG 또는 현재 accelerator의 RNG를 동기화합니다.

accelerate.synchronize_rng_states

< >

( rng_types: list[str | accelerate.utils.dataclasses.RNGType]generator: torch.Generator | None = None )

PyTorch XLA

여기에는 PyTorch를 XLA와 함께 사용할 때 유용한 유틸리티가 포함되어 있습니다.

accelerate.utils.install_xla

< >

( upgrade: bool = False )

매개변수

  • upgrade (bool, 선택 사항, 기본값 False) — torch를 업그레이드하고 최신 torch_xla 휠을 설치할지 여부.

Google Colaboratory에서 torch 버전에 따라 적절한 xla wheels를 설치하는 헬퍼 함수입니다.

예:

>>> from accelerate.utils import install_xla

>>> install_xla(upgrade=True)

모델 가중치 로드

load_checkpoint과 같은 체크포인트를 로드하는 데 유용한 유틸리티를 포함합니다.

accelerate.load_checkpoint_in_model

< >

( model: Modulecheckpoint: str | os.PathLikedevice_map: dict[str, int | str | torch.device] | None = Noneoffload_folder: str | os.PathLike | None = Nonedtype: str | torch.dtype | None = Noneoffload_state_dict: bool = Falseoffload_buffers: bool = Falsekeep_in_fp32_modules: list[str] | None = Noneoffload_8bit_bnb: bool = Falsestrict: bool = Falsefull_state_dict: bool = Truebroadcast_from_rank0: bool = False )

매개변수

  • model (torch.nn.Module) — 체크포인트를 로드하려는 모델입니다.
  • checkpoint (str 또는 os.PathLike) — 로드할 폴더 체크포인트입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 또는 model.safetensors 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • dtype (str 또는 torch.dtype, 선택 사항) — 지정된 경우, 가중치가 로드될 때 해당 유형으로 변환됩니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.
  • offload_buffers (bool, 선택 사항, 기본값 False) — 디스크로 오프로드되는 가중치에 버퍼를 포함할지 여부입니다.
  • keep_in_fp32_modules(List[str], 선택 사항) — torch.float32 dtype로 유지할 모듈 목록입니다.
  • offload_8bit_bnb (bool, 선택 사항) — 8비트 모듈의 cpu/disk 오프로딩을 활성화할지 여부입니다.
  • strict (bool, 선택 사항, 기본값 False) — 체크포인트 state_dict의 키가 모델의 state_dict 키와 정확히 일치하는지 엄격하게 강제할지 여부입니다.
  • full_state_dict (bool, 선택 사항, 기본값 True) — 이 값이 True로 설정되면 로드된 state_dict의 모든 텐서가 수집됩니다. 로드된 state_dict에는 ShardedTensor와 DTensor가 포함되지 않습니다.
  • broadcast_from_rank0 (False, 선택 사항, 기본값 False) — 이 옵션이 True인 경우 분산 ProcessGroup이 초기화되어 있어야 합니다. rank0은 전체 state_dict를 수신하고, state_dict의 텐서를 하나씩 다른 rank로 브로드캐스트합니다. 다른 rank는 텐서를 수신하고, 모델의 로컬 샤드에 따라 샤딩을 수행합니다(해당하는 경우).

모델 내부의 (분할된) 체크포인트를 로드하며, 로드되는 동안 가중치를 지정된 장치로 전송할 수 있습니다.

Once loaded across devices, you still need to call dispatch_model() on your model to make it able to run. To group the checkpoint loading and dispatch in one single call, use load_checkpoint_and_dispatch().

양자화

quantize 모델에 유용한 유틸리티를 포함합니다.

accelerate.utils.load_and_quantize_model

< >

( model: Modulebnb_quantization_config: BnbQuantizationConfigweights_location: str | os.PathLike | None = Nonedevice_map: dict[str, int | str | torch.device] | None = Noneno_split_module_classes: list[str] | None = Nonemax_memory: dict[int | str, int | str] | None = Noneoffload_folder: str | os.PathLike | None = Noneoffload_state_dict: bool = False ) → torch.nn.Module

매개변수

  • model (torch.nn.Module) — 입력 모델. 모델은 이미 로드되었거나 meta device에 있을 수 있습니다
  • bnb_quantization_config (BnbQuantizationConfig) — bitsandbytes 양자화 매개변수
  • weights_location (str 또는 os.PathLike) — 로드할 weights_location 폴더입니다. 다음 중 하나일 수 있습니다:
    • 전체 모델 상태 딕트(state dict)를 포함하는 파일의 경로
    • .json 파일의 경로. 샤드 체크포인트의 인덱스를 포함합니다
    • 유일한 .index.json 파일과 체크포인트의 샤드가 포함된 폴더의 경로
    • 고유한 pytorch_model.bin 파일을 포함하는 폴더의 경로
  • device_map (Dict[str, Union[int, str, torch.device]], 선택 사항) — 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 각 파라미터/버퍼 이름까지 세분화할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다.
  • no_split_module_classes (List[str], 선택 사항) — 디바이스 간에 절대 분할되어서는 안 되는 레이어 클래스 이름 목록(예: 잔차 연결이 있는 레이어).
  • max_memory (Dict, 선택 사항) — 디바이스 식별자를 최대 메모리로 매핑한 사전입니다. 설정되지 않으면 사용 가능한 최대 메모리를 기본값으로 사용합니다.
  • offload_folder (str 또는 os.PathLike, 선택 사항) — device_map에 "disk" 값이 하나 이상 포함된 경우, 가중치를 오프로드할 폴더입니다.
  • offload_state_dict (bool, 선택 사항, 기본값 False) — True인 경우, CPU 상태 사전의 가중치와 가장 큰 샤드의 합이 CPU RAM에 맞지 않을 때 RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다.

반환값

torch.nn.Module

양자화된 모델

이 함수는 bnb_quantization_config에 전달된 관련 설정을 사용하여 입력 모델을 양자화합니다. 모델이 meta 디바이스에 있는 경우, 전달된 device_map에 따라 가중치를 로드하고 디스패치합니다. 모델이 이미 로드된 경우, 모델을 양자화하고 GPU에 배치합니다.

Update on GitHub