Accelerate documentation
개요
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
개요
Accelerate 튜토리얼에 오신 것을 환영합니다. 이 입문 가이드는 Accelerate를 다루는 데 필요한 지식을 빠르게 익히는 데 도움이 됩니다. 코드를 수정하여 API와 원활하게 작동하도록 하는 방법, 스크립트를 올바르게 실행하는 방법 등을 배울 수 있습니다.
이 튜토리얼은 Python에 대한 기본적인 지식과 PyTorch 프레임워크에 대한 익숙함을 전제로 합니다.
Accelerate에 대한 질문이 있으시면 포럼에 참여하여 커뮤니티에 질문해 주세요.
Update on GitHub