Transformers documentation
Ulysses dizi paralelliği
Ulysses dizi paralelliği
Ulysses dizisi paralelliği (SP), dizileri birden çok GPU arasında bölerek çok uzun diziler üzerinde eğitim yapar. Dikkat mekanizmasını doğru hesaplamak için, bir all-to-all kolektif işlemi, shard boyutunu diziden dikkat başlıklarına değiştirir. Her GPU ardından tam diziye sahip olur ve başlıkların bir alt kümesi üzerinde dikkati yerel olarak hesaplar. İkinci bir all-to-all işlemi, dizide shard edilmiş yerleşime geri döner, böylece ileri geçişin geri kalanı her parça üzerinde yerel olarak devam eder.
GPU 0 GPU 1
┌───────────────┐ ┌───────────────┐
forward │ tokens 0..N/2 │ │ tokens N/2..N │ ← each GPU holds half the sequence
(seq-sharded) │ all H heads │ │ all H heads │
└───────┬───────┘ └───────┬───────┘
└───────── all-to-all ──────┘
┌───────────────┐ ┌───────────────┐
attention │ all N tokens │ │ all N tokens │ ← now each GPU has the full sequence
(head-sharded) │ heads 0..H/2 │ │ heads H/2..H │ ← but only half the heads
└───────┬───────┘ └───────┬───────┘
└───────── all-to-all ──────┘
┌───────────────┐ ┌───────────────┐
forward │ tokens 0..N/2 │ │ tokens N/2..N │ ← back to seq-sharded
(seq-sharded) │ all H heads │ │ all H heads │
└───────────────┘ └───────────────┘Bu kılavuz, ALST (Arctic Long Sequence Training) sisteminin Ulysses sequence parallelism bileşenini kapsar. Tam ALST sistemi, Transformers'ta bulunmayan TiledMLP ve activation checkpoint offloading bileşenlerini de içerir. Tam sistem için DeepSpeed ALST eğitim materyaline bakın.
Yapılandır
Sequence parallelism, Accelerate v1.12.0 ve en az 2 GPU gerektirir. Sequence parallelism'i Accelerate'in ParallelismConfig içinde yapılandırın ve parallelism_config veya bir Accelerate config dosyası olarak iletin.
from accelerate.utils import ParallelismConfig, DeepSpeedSequenceParallelConfig
parallelism_config = ParallelismConfig(
sp_backend="deepspeed",
sp_size=4,
dp_replicate_size=1,
sp_handler=DeepSpeedSequenceParallelConfig(
sp_seq_length_is_variable=True,
sp_attn_implementation="flash_attention_2",
),
)
training_args = TrainingArguments(
...,
deepspeed="path/to/deepspeed_config.json",
parallelism_config=parallelism_config,
)accelerate launch komutunu Trainer tabanlı bir betikle çalıştırın.
accelerate launch --num_processes 4 train.py \ --output_dir output_dir \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 1
accelerate config komutunu çalıştırın ve donanımınız ile eğitim kurulumunuzla ilgili soruları yanıtlayarak önbelleğinizde bir default_config.yaml dosyası oluşturun.
distributed_type: DEEPSPEED
deepspeed_config:
deepspeed_config_file: path/to/ds_config.json
machine_rank: 0
num_machines: 1
num_processes: 4
parallelism_config:
parallelism_config_sp_size: 4
parallelism_config_dp_replicate_size: 1
parallelism_config_sp_backend: deepspeed
parallelism_config_sp_seq_length_is_variable: true
parallelism_config_sp_attn_implementation: flash_attention_2accelerate launch komutunu Trainer tabanlı bir betikle çalıştırın.
accelerate launch --config_file alst_config.yaml train.py \ --output_dir output_dir \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 1
Aşağıdaki alanlar, diziyi paralelleştirmeyi yapılandırmak için önemlidir.
Trainer, DataLoader shard'leme işlemini,
position_idsüretimini, etiket kaydırma işlemini ve SP rank'ları arasında kayıp birleştirmeyi otomatik olarak yönetir. Özel bir eğitim döngüsü yazıyorsanız, bunun yerine Accelerate Sequence Parallelism kılavuzuna bakın.
Ulysses dizi paralelliğini kullanmak için
sp_backendparametresinin"deepspeed"olarak ayarlanması gerekir.sp_size, paralel olarak tek bir diziyi işleyen GPU sayısıdır. Tensor paralelliğinin aksine, her SP rank'ı DataLoader'dan benzersiz bir veri akışı alır. Etkindp_world_size = world_size / sp_sizeolduğundan, 4 GPU vesp_size=4ile batch boyutu hesaplamaları içindp_world_size=1olur. Dizilerin ayrıcasp_size'in katına kadar doldurulması (padding) gerekir. Buna göre veri toplayıcınızda (data collator)pad_to_multiple_ofdeğerini ayarlayın.Dikkat başlarının sayısı
sp_size'e tam bölünmelidir. 32 başa sahip bir model,sp_sizeiçin 1, 2, 4, 8, 16 veya 32 değerlerini destekler.from transformers import DataCollatorForLanguageModeling data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False, pad_to_multiple_of=sp_size, )sp_seq_length_is_variable, değişken dizi uzunluğu işleme sürecini kontrol eder. Batch'ler arasında değişen uzunluklar içinTrueolarak ayarlayın (önerilir). Tüm dizilerinsp_seq_lengthile belirtilen sabit bir uzunluğa doldurulduğu durumlardaFalseolarak ayarlayın.sp_attn_implementation, dikkat (attention) arka ucunu belirler. Desteklenen değerler"sdpa","flash_attention_2"veya"flash_attention_3"'tür. Özellikle bir partide (batch) birden fazla örnek paketlendiğinde FlashAttention önerilir. Örnekler paketlendiğinde SDPA, örnek sınırları arasında hatalı dikkat uygulayabilir. Bellek ve ölçekleme nedenleriyle 4 boyutluattention_mask'in atılması nedeniyle Eager attention desteklenmez.
Veri paralelliği ile birleştirme
Sıralı paralellik ve veri paralelliği aynı GPU'ları kullanır ve SP ek donanım gerektirmez. İkisini birden çalıştırmak için dp_replicate_size × dp_shard_size × sp_size ifadesinin toplam GPU sayınıza eşit olmasını sağlayacak şekilde dp_replicate_size veya dp_shard_size değerlerini ayarlayın.
Örneğin, 8 GPU ve sp_size=4 ile dp_replicate_size=2 olarak ayarlayın (2 × 1 × 4 = 8).
parallelism_config = ParallelismConfig(
sp_backend="deepspeed",
sp_size=4,
dp_replicate_size=2,
sp_handler=DeepSpeedSequenceParallelConfig(
sp_seq_length_is_variable=True,
sp_attn_implementation="flash_attention_2",
),
)Sonraki adımlar
- FSDP2 ile bağlam paralelliği (
cp_size), Ulysses'ten (sp_size) ayrıdır. Bağlam paralelliği ile değerlendirme bölümüne bakın. - Accelerate Sequence Parallelism kılavuzu, Ulysses uygulamasını daha ayrıntılı olarak ele alır ve özel bir eğitim döngüsü nasıl yazılacağını gösterir.
- DeepSpeed ALST öğreticisi, TiledMLP ve aktivasyon denetimi boşaltma dahil olmak üzere tam ALST sistemini kapsar.
- Paralellik yöntemleri kılavuzu, sıralı paralelliğin ZeRO gibi diğer stratejilerle nasıl birleştirileceğini gösterir.
- Ulysses Sequence Parallelism: Training with Million-Token Contexts blog yazısı, Ulysses'in nasıl çalıştığını ve Accelerate, Trainer ile SFTTrainer'a nasıl entegre edildiğini açıklar.