Accelerate documentation
Dağıtık çıkarım
Dağıtık çıkarım
Dağıtık çıkarım iki kategoriye ayrılabilir:
- Tüm modeli her GPU'ya yükleyip bir partinin parçalarını her GPU'daki model kopyasından birer kez geçirerek
- Bir modelin parçalarını her GPU'ya yükleyip bir anda tek bir girdiyi işleme
Bu kılavuz ilk parantezi kapsar. İkincisi için Büyük Model Çıkarımı bölümüne bakın.
Bir partinin parçalarını otomatik olarak her yüklü modele gönderme
Bu, en çok bellek kullanan çözümdür; çünkü belirli bir anda her GPU'nun bellekte modelin tam bir kopyasını tutmasını gerektirir.
Genellikle bu işlemi yaparken kullanıcılar, modeli CPU'dan yüklemek için belirli bir cihaza gönderir ve ardından her bir istemi farklı bir cihaza taşır.
diffusers kütüphanesini kullanan temel bir pipeline aşağıdaki gibi görünebilir:
import torch
import torch.distributed as dist
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)Ardından, belirli bir istem (prompt) temelinde çıkarım (inference) gerçekleştirildi:
def run_inference(rank, world_size):
dist.init_process_group("nccl", rank=rank, world_size=world_size)
pipe.to(rank)
if torch.distributed.get_rank() == 0:
prompt = "a dog"
elif torch.distributed.get_rank() == 1:
prompt = "a cat"
result = pipe(prompt).images[0]
result.save(f"result_{rank}.png")Hangi istemin gönderileceğini bilmek için sıranın kontrol edilmesi gerektiğini fark edeceksiniz; bu işlem biraz zahmetli olabilir.
Bir kullanıcı, Accelerate ile Accelerator kullanarak bu tür bir görev için bir dataloader hazırlamanın da bunu yönetmenin basit bir yolu olabileceğini düşünebilir. (Daha fazla bilgi için Hızlı Tur bölümündeki ilgili kısmı inceleyin)
Yönetebilir mi? Evet. Ancak gereksiz ek kod ekler mi: o da evet.
Accelerate ile bu süreci, Accelerator.split_between_processes() bağlam yöneticisini (aynı zamanda PartialState ve AcceleratorState içinde de mevcut) kullanarak basitleştirebiliriz.
Bu fonksiyon, ona ilettiğiniz herhangi bir veriyi (bir istem, bir tensör kümesi, önceki verilere ait bir sözlük vb.) tüm süreçler arasında otomatik olarak böler (doldurma ihtimaliyle) ve hemen kullanmanız için hazırlar.
Bu bağlam yöneticisini kullanarak yukarıdaki örneği yeniden yazalım:
import torch
from accelerate import PartialState # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)
# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat"]) as prompt:
result = pipe(prompt).images[0]
result.save(f"result_{distributed_state.process_index}.png")Ve ardından kodu başlatmak için Accelerate'i kullanabiliriz:
accelerate config kullanarak kullanılacak bir yapılandırma dosyası oluşturduysanız:
accelerate launch distributed_inference.py
Kullanmak istediğiniz belirli bir yapılandırma dosyası varsa:
accelerate launch --config_file my_config.json distributed_inference.py
Ya da herhangi bir yapılandırma dosyası oluşturmak istemiyorsanız ve iki GPU üzerinde başlatmak istiyorsanız:
Not: Sisteminize dayalı olarak değerlerin tahmin edildiğine dair bazı uyarılar alacaksınız. Bunları kaldırmak için
accelerate config defaultkomutunu çalıştırabilir veya bir yapılandırma dosyası oluşturmak içinaccelerate configkomutunu kullanabilirsiniz.
accelerate launch --num_processes 2 distributed_inference.py
Bu veriyi bölmek için gereken şablon kodunu artık oldukça kolay bir şekilde birkaç satıra indirdik.
Peki, istemlerin GPU'lara tek sayılı bir dağılımı varsa ne olur? Örneğin, 3 istemimiz ama yalnızca 2 GPU'muz varsa ne olur?
Bağlam yöneticisi altında, ilk GPU ilk iki isteği, ikinci GPU ise üçüncü isteği alır; böylece tüm istekler bölünür ve ek bir maliyet gerekmez.
Bununla birlikte, tüm GPU'ların sonuçlarıyla bir işlem yapmak isteseydik ne olurdu? (Örneğin hepsini toplayıp bir tür son işlem yapmak)
İstem listelerinin aynı uzunluğa yastıklanmasını, ek verinin ise son örnekten alınmasını sağlamak için apply_padding=True parametresini iletebilirsiniz. Bu sayede tüm GPU'ların aynı sayıda istemi olur ve ardından sonuçları toplayabilirsiniz.
Bu, her cihazdaki verinin aynı uzunlukta olması gereken sonuçları toplama gibi bir işlemi yapmaya çalışırken gereklidir. Temel çıkarım (inference) için bu gerekmez.
Örneğin:
import torch
from accelerate import PartialState # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)
# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat", "a chicken"], apply_padding=True) as prompt:
result = pipe(prompt).imagesİlk GPU'da istemler ["a dog", "a cat"] olacak, ikinci GPU'da ise ["a chicken", "a chicken"] olacak.
Önceki örnekten bir kopya olacağı için son örneği düşürdüğünüzden emin olun.
LLM'lerle nasıl kullanılacağı gibi daha karmaşık örnekleri burada bulabilirsiniz.
Update on GitHub