Accelerate documentation
Amazon SageMaker
Amazon SageMaker
Hugging Face dan Amazon memperkenalkan Hugging Face Deep Learning Containers (DLCs) baru untuk memudahkan pelatihan model Transformer Hugging Face di Amazon SageMaker lebih dari sebelumnya.
Memulai
Setup & Instalasi
Sebelum Anda dapat menjalankan skrip Accelerate Anda di Amazon SageMaker, Anda perlu mendaftar akun AWS. Jika Anda belum memiliki akun AWS, pelajari lebih lanjut di sini.
Setelah Anda memiliki Akun AWS, Anda perlu menginstal sdk sagemaker untuk Accelerate dengan:
pip install "accelerate[sagemaker]" --upgradeAccelerate saat ini menggunakan DLC, dengan transformers, datasets dan tokenizers yang sudah terpasang. Accelerate belum ada di DLC (akan segera ditambahkan!) sehingga untuk menggunakannya di dalam Amazon SageMaker, Anda perlu membuat requirements.txt di direktori yang sama dengan lokasi skrip pelatihan Anda dan menambahkannya sebagai dependensi:
accelerateAnda juga harus menambahkan dependensi lain yang Anda miliki ke requirements.txt ini.
Konfigurasi Accelerate
Anda dapat mengonfigurasi konfigurasi peluncuran untuk Amazon SageMaker dengan cara yang sama seperti yang Anda lakukan untuk tugas pelatihan non-SageMaker dengan Accelerate CLI:
accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1Accelerate akan menjalankan kuesioner tentang konfigurasi Amazon SageMaker Anda dan membuat file konfigurasi yang dapat Anda edit.
Accelerate tidak menyimpan kredensial Anda.
Siapkan skrip fine-tuning Accelerate
Skrip pelatihan sangat mirip dengan skrip pelatihan yang mungkin Anda jalankan di luar SageMaker, tetapi untuk menyimpan model Anda setelah pelatihan, Anda perlu menentukan /opt/ml/model atau menggunakan os.environ["SM_MODEL_DIR"] sebagai direktori penyimpanan Anda. Setelah pelatihan, artefak di direktori ini diunggah ke S3:
- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')SageMaker tidak mendukung aksi argparse. Jika Anda ingin menggunakan, misalnya, hiperparameter boolean, Anda perlu menentukan type sebagai bool di skrip Anda dan memberikan nilai True atau False secara eksplisit untuk hiperparameter ini. [REF].
Mulai Pelatihan
Anda dapat meluncurkan pelatihan Anda dengan Accelerate CLI dengan:
accelerate launch path_to_script.py --args_to_the_scriptIni akan menjalankan skrip pelatihan Anda menggunakan konfigurasi Anda. Satu-satunya hal yang harus Anda lakukan adalah menyediakan semua argumen yang dibutuhkan oleh skrip pelatihan Anda sebagai argumen bernama.
Contoh
Jika Anda menjalankan salah satu skrip contoh, jangan lupa untuk menambahkan
accelerator.save('/opt/ml/model')ke dalamnya.
accelerate launch ./examples/sagemaker_example.py
Output:
Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gzFitur Lanjutan
Pelatihan Terdistribusi: Paralelisme Data
Setel konfigurasi accelerate dengan menjalankan accelerate config dan jawab pertanyaan SageMaker lalu atur.
Untuk menggunakan SageMaker DDP, pilih saat ditanya What is the distributed mode? ([0] No distributed training, [1] data parallelism):.
Contoh konfigurasi di bawah:
base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: falsePelatihan Terdistribusi: Paralelisme Model
saat ini sedang dalam pengembangan, akan segera didukung.
Paket dan dependensi Python
Accelerate saat ini menggunakan DLC, dengan transformers, datasets dan tokenizers yang sudah terpasang. Jika Anda ingin menggunakan paket Python yang berbeda/lain, Anda dapat melakukannya dengan menambahkan paket tersebut ke requirements.txt. Paket-paket ini akan diinstal sebelum skrip pelatihan Anda dimulai.
Pelatihan Lokal: Mode Lokal SageMaker
Mode lokal di SageMaker SDK memungkinkan Anda menjalankan skrip pelatihan secara lokal di dalam HuggingFace DLC (Deep Learning container) atau menggunakan gambar container kustom Anda. Hal ini berguna untuk debugging dan pengujian skrip pelatihan Anda di dalam lingkungan container akhir. Mode lokal menggunakan Docker compose (Catatan: Docker Compose V2 belum didukung). SDK akan menangani autentikasi terhadap ECR untuk menarik DLC ke lingkungan lokal Anda. Anda dapat mensimulasikan tugas pelatihan SageMaker CPU (single dan multi-instance) dan GPU (single instance).
Untuk menggunakan mode lokal, Anda perlu mengatur ec2_instance_type menjadi local.
ec2_instance_type: localKonfigurasi lanjutan
Konfigurasi memungkinkan Anda untuk menimpa parameter untuk Estimator.
Pengaturan ini harus diterapkan di file konfigurasi dan bukan bagian dari accelerate config. Anda dapat mengontrol banyak aspek tambahan dari pekerjaan pelatihan, misalnya menggunakan Spot instances, mengaktifkan isolasi jaringan, dan banyak lagi.
additional_args:
# enable network isolation to restrict internet access for containers
enable_network_isolation: TrueAnda dapat menemukan semua konfigurasi yang tersedia di sini.
Gunakan Spot Instances
Anda dapat menggunakan Spot Instances, misalnya dengan menggunakan (lihat Konfigurasi lanjutan):
additional_args:
use_spot_instances: True
max_wait: 86400Catatan: Spot Instances dapat dihentikan dan pelatihan dilanjutkan dari checkpoint. Hal ini tidak ditangani secara bawaan oleh Accelerate. Hubungi kami jika Anda menginginkan fitur ini.
Skrip jarak jauh: Gunakan skrip yang berada di Github
belum ditentukan apakah fitur ini diperlukan. Hubungi kami jika Anda menginginkan fitur ini.
Update on GitHub