Accelerate documentation

Amazon SageMaker

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Amazon SageMaker

Hugging Face dan Amazon memperkenalkan Hugging Face Deep Learning Containers (DLCs) baru untuk memudahkan pelatihan model Transformer Hugging Face di Amazon SageMaker lebih dari sebelumnya.

Memulai

Setup & Instalasi

Sebelum Anda dapat menjalankan skrip Accelerate Anda di Amazon SageMaker, Anda perlu mendaftar akun AWS. Jika Anda belum memiliki akun AWS, pelajari lebih lanjut di sini.

Setelah Anda memiliki Akun AWS, Anda perlu menginstal sdk sagemaker untuk Accelerate dengan:

pip install "accelerate[sagemaker]" --upgrade

Accelerate saat ini menggunakan DLC, dengan transformers, datasets dan tokenizers yang sudah terpasang. Accelerate belum ada di DLC (akan segera ditambahkan!) sehingga untuk menggunakannya di dalam Amazon SageMaker, Anda perlu membuat requirements.txt di direktori yang sama dengan lokasi skrip pelatihan Anda dan menambahkannya sebagai dependensi:

accelerate

Anda juga harus menambahkan dependensi lain yang Anda miliki ke requirements.txt ini.

Konfigurasi Accelerate

Anda dapat mengonfigurasi konfigurasi peluncuran untuk Amazon SageMaker dengan cara yang sama seperti yang Anda lakukan untuk tugas pelatihan non-SageMaker dengan Accelerate CLI:

accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1

Accelerate akan menjalankan kuesioner tentang konfigurasi Amazon SageMaker Anda dan membuat file konfigurasi yang dapat Anda edit.

Accelerate tidak menyimpan kredensial Anda.

Siapkan skrip fine-tuning Accelerate

Skrip pelatihan sangat mirip dengan skrip pelatihan yang mungkin Anda jalankan di luar SageMaker, tetapi untuk menyimpan model Anda setelah pelatihan, Anda perlu menentukan /opt/ml/model atau menggunakan os.environ["SM_MODEL_DIR"] sebagai direktori penyimpanan Anda. Setelah pelatihan, artefak di direktori ini diunggah ke S3:

- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')

SageMaker tidak mendukung aksi argparse. Jika Anda ingin menggunakan, misalnya, hiperparameter boolean, Anda perlu menentukan type sebagai bool di skrip Anda dan memberikan nilai True atau False secara eksplisit untuk hiperparameter ini. [REF].

Mulai Pelatihan

Anda dapat meluncurkan pelatihan Anda dengan Accelerate CLI dengan:

accelerate launch path_to_script.py --args_to_the_script

Ini akan menjalankan skrip pelatihan Anda menggunakan konfigurasi Anda. Satu-satunya hal yang harus Anda lakukan adalah menyediakan semua argumen yang dibutuhkan oleh skrip pelatihan Anda sebagai argumen bernama.

Contoh

Jika Anda menjalankan salah satu skrip contoh, jangan lupa untuk menambahkan accelerator.save('/opt/ml/model') ke dalamnya.

accelerate launch ./examples/sagemaker_example.py

Output:

Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz

Fitur Lanjutan

Pelatihan Terdistribusi: Paralelisme Data

Setel konfigurasi accelerate dengan menjalankan accelerate config dan jawab pertanyaan SageMaker lalu atur. Untuk menggunakan SageMaker DDP, pilih saat ditanya What is the distributed mode? ([0] No distributed training, [1] data parallelism):. Contoh konfigurasi di bawah:

base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false

Pelatihan Terdistribusi: Paralelisme Model

saat ini sedang dalam pengembangan, akan segera didukung.

Paket dan dependensi Python

Accelerate saat ini menggunakan DLC, dengan transformers, datasets dan tokenizers yang sudah terpasang. Jika Anda ingin menggunakan paket Python yang berbeda/lain, Anda dapat melakukannya dengan menambahkan paket tersebut ke requirements.txt. Paket-paket ini akan diinstal sebelum skrip pelatihan Anda dimulai.

Pelatihan Lokal: Mode Lokal SageMaker

Mode lokal di SageMaker SDK memungkinkan Anda menjalankan skrip pelatihan secara lokal di dalam HuggingFace DLC (Deep Learning container) atau menggunakan gambar container kustom Anda. Hal ini berguna untuk debugging dan pengujian skrip pelatihan Anda di dalam lingkungan container akhir. Mode lokal menggunakan Docker compose (Catatan: Docker Compose V2 belum didukung). SDK akan menangani autentikasi terhadap ECR untuk menarik DLC ke lingkungan lokal Anda. Anda dapat mensimulasikan tugas pelatihan SageMaker CPU (single dan multi-instance) dan GPU (single instance).

Untuk menggunakan mode lokal, Anda perlu mengatur ec2_instance_type menjadi local.

ec2_instance_type: local

Konfigurasi lanjutan

Konfigurasi memungkinkan Anda untuk menimpa parameter untuk Estimator. Pengaturan ini harus diterapkan di file konfigurasi dan bukan bagian dari accelerate config. Anda dapat mengontrol banyak aspek tambahan dari pekerjaan pelatihan, misalnya menggunakan Spot instances, mengaktifkan isolasi jaringan, dan banyak lagi.

additional_args:
  # enable network isolation to restrict internet access for containers
  enable_network_isolation: True

Anda dapat menemukan semua konfigurasi yang tersedia di sini.

Gunakan Spot Instances

Anda dapat menggunakan Spot Instances, misalnya dengan menggunakan (lihat Konfigurasi lanjutan):

additional_args:
  use_spot_instances: True
  max_wait: 86400

Catatan: Spot Instances dapat dihentikan dan pelatihan dilanjutkan dari checkpoint. Hal ini tidak ditangani secara bawaan oleh Accelerate. Hubungi kami jika Anda menginginkan fitur ini.

Skrip jarak jauh: Gunakan skrip yang berada di Github

belum ditentukan apakah fitur ini diperlukan. Hubungi kami jika Anda menginginkan fitur ini.

Update on GitHub