Transformers documentation

Ulysses dizi paralelliği

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ulysses dizi paralelliği

Ulysses dizisi paralelliği (SP), dizileri birden çok GPU arasında bölerek çok uzun diziler üzerinde eğitim yapar. Dikkat mekanizmasını doğru hesaplamak için, bir all-to-all kolektif işlemi, shard boyutunu diziden dikkat başlıklarına değiştirir. Her GPU ardından tam diziye sahip olur ve başlıkların bir alt kümesi üzerinde dikkati yerel olarak hesaplar. İkinci bir all-to-all işlemi, dizide shard edilmiş yerleşime geri döner, böylece ileri geçişin geri kalanı her parça üzerinde yerel olarak devam eder.

                        GPU 0                       GPU 1
                   ┌───────────────┐          ┌───────────────┐
  forward          │ tokens 0..N/2 │          │ tokens N/2..N │  ← each GPU holds half the sequence
  (seq-sharded)    │  all H heads  │          │  all H heads  │
                   └───────┬───────┘          └───────┬───────┘
                           └───────── all-to-all ──────┘
                   ┌───────────────┐          ┌───────────────┐
  attention        │ all N tokens  │          │ all N tokens  │  ← now each GPU has the full sequence
  (head-sharded)   │ heads 0..H/2  │          │ heads H/2..H  │  ← but only half the heads
                   └───────┬───────┘          └───────┬───────┘
                           └───────── all-to-all ──────┘
                   ┌───────────────┐          ┌───────────────┐
  forward          │ tokens 0..N/2 │          │ tokens N/2..N │  ← back to seq-sharded
  (seq-sharded)    │  all H heads  │          │  all H heads  │
                   └───────────────┘          └───────────────┘

Bu kılavuz, ALST (Arctic Long Sequence Training) sisteminin Ulysses sequence parallelism bileşenini kapsar. Tam ALST sistemi, Transformers'ta bulunmayan TiledMLP ve activation checkpoint offloading bileşenlerini de içerir. Tam sistem için DeepSpeed ALST eğitim materyaline bakın.

Yapılandır

Sequence parallelism, Accelerate v1.12.0 ve en az 2 GPU gerektirir. Sequence parallelism'i Accelerate'in ParallelismConfig içinde yapılandırın ve parallelism_config veya bir Accelerate config dosyası olarak iletin.

parallelism_config
Accelerate yapılandırma dosyası
from accelerate.utils import ParallelismConfig, DeepSpeedSequenceParallelConfig

parallelism_config = ParallelismConfig(
    sp_backend="deepspeed",
    sp_size=4,
    dp_replicate_size=1,
    sp_handler=DeepSpeedSequenceParallelConfig(
        sp_seq_length_is_variable=True,
        sp_attn_implementation="flash_attention_2",
    ),
)

training_args = TrainingArguments(
    ...,
    deepspeed="path/to/deepspeed_config.json",
    parallelism_config=parallelism_config,
)

accelerate launch komutunu Trainer tabanlı bir betikle çalıştırın.

accelerate launch --num_processes 4 train.py \
--output_dir output_dir \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 1

Aşağıdaki alanlar, diziyi paralelleştirmeyi yapılandırmak için önemlidir.

Trainer, DataLoader shard'leme işlemini, position_ids üretimini, etiket kaydırma işlemini ve SP rank'ları arasında kayıp birleştirmeyi otomatik olarak yönetir. Özel bir eğitim döngüsü yazıyorsanız, bunun yerine Accelerate Sequence Parallelism kılavuzuna bakın.

  • Ulysses dizi paralelliğini kullanmak için sp_backend parametresinin "deepspeed" olarak ayarlanması gerekir.

  • sp_size, paralel olarak tek bir diziyi işleyen GPU sayısıdır. Tensor paralelliğinin aksine, her SP rank'ı DataLoader'dan benzersiz bir veri akışı alır. Etkin dp_world_size = world_size / sp_size olduğundan, 4 GPU ve sp_size=4 ile batch boyutu hesaplamaları için dp_world_size=1 olur. Dizilerin ayrıca sp_size'in katına kadar doldurulması (padding) gerekir. Buna göre veri toplayıcınızda (data collator) pad_to_multiple_of değerini ayarlayın.

    Dikkat başlarının sayısı sp_size'e tam bölünmelidir. 32 başa sahip bir model, sp_size için 1, 2, 4, 8, 16 veya 32 değerlerini destekler.

    from transformers import DataCollatorForLanguageModeling
    
    data_collator = DataCollatorForLanguageModeling(
        tokenizer=tokenizer,
        mlm=False,
        pad_to_multiple_of=sp_size,
    )
  • sp_seq_length_is_variable, değişken dizi uzunluğu işleme sürecini kontrol eder. Batch'ler arasında değişen uzunluklar için True olarak ayarlayın (önerilir). Tüm dizilerin sp_seq_length ile belirtilen sabit bir uzunluğa doldurulduğu durumlarda False olarak ayarlayın.

  • sp_attn_implementation, dikkat (attention) arka ucunu belirler. Desteklenen değerler "sdpa", "flash_attention_2" veya "flash_attention_3"'tür. Özellikle bir partide (batch) birden fazla örnek paketlendiğinde FlashAttention önerilir. Örnekler paketlendiğinde SDPA, örnek sınırları arasında hatalı dikkat uygulayabilir. Bellek ve ölçekleme nedenleriyle 4 boyutlu attention_mask'in atılması nedeniyle Eager attention desteklenmez.

Veri paralelliği ile birleştirme

Sıralı paralellik ve veri paralelliği aynı GPU'ları kullanır ve SP ek donanım gerektirmez. İkisini birden çalıştırmak için dp_replicate_size × dp_shard_size × sp_size ifadesinin toplam GPU sayınıza eşit olmasını sağlayacak şekilde dp_replicate_size veya dp_shard_size değerlerini ayarlayın.

Örneğin, 8 GPU ve sp_size=4 ile dp_replicate_size=2 olarak ayarlayın (2 × 1 × 4 = 8).

parallelism_config = ParallelismConfig(
    sp_backend="deepspeed",
    sp_size=4,
    dp_replicate_size=2,
    sp_handler=DeepSpeedSequenceParallelConfig(
        sp_seq_length_is_variable=True,
        sp_attn_implementation="flash_attention_2",
    ),
)

Sonraki adımlar

Update on GitHub