Accelerate documentation

FSDP1 مقابل FSDP2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP1 مقابل FSDP2

يشرح هذا الدليل الفروقات الرئيسية بين FSDP1 وFSDP2 ويساعدك على نقل كودك الحالي لاستخدام FSDP2 بأقل قدر من التعديلات.

كيف يكون FSDP2 أفضل من FSDP1؟

أولاً، نريد أن نفهم كيف يعمل FSDP1 وFSDP2 داخليًا لفهم الفروق بينهما. كما يساعدنا هذا في فهم قيود FSDP1 وكيف يحل FSDP2 هذه القيود.

سنناقش سيناريو لدينا فيه Layer واحد يحتوي على 3 طبقات Linear ومغلف باستخدام FSDP ليتم تقسيمه عبر وحدتي معالجة رسومية.

Layer

FSDP1

أولاً، علينا أن نفهم FSDP1 الأصلي والقيود التي يجلبها. فهو يمثل كل وحدة FSDP كـ FlatParameter واحد، وهو متجه أحادي البُعد يحتوي على جميع معاملات الوحدة، ثم يتم تقسيمه عبر الرتب. أي أنه إذا غطّيت Layer بـ FSDP1، فستحصل على شيء من هذا القبيل:

FSDP1

قد تلاحظ مشكلة. يتم تسطيح Layer بالكامل إلى FlatParameter واحد، ثم يتم تقسيمه عبر الرتب. ولكن إذا كان كائن FlatParameter واحدًا، فكيف نخزّن البيانات الوصفية؟ هذه إحدى القيود. فالتخزين السليم للبيانات الوصفية الخاصة بكل معامل، مثل dtype وrequires_grad وما إلى ذلك، غير ممكن دون بعض الحلول غير الأنيقة.

FSDP2

لهذا السبب تم تقديم FSDP2. فهو لا يستخدم FlatParameter، بل يستخدم بدلاً من ذلك DTensor وهو اختصار لـ “Distributed Tensor” (الموتر الموزّع). يمثل كل DTensor في الأساس torch.Tensor عاديًا تم تقسيمه عبر الرتب (ranks). يحتوي على بيانات وصفية عن torch.Tensor الأصلي وكيفية تقسيمه، وما هو نوع التوزيع وما إلى ذلك. لهذا السبب يُسمى per-parameter sharding (تقسيم لكل معامل). تُظهر الصورة التالية الفرق:

FSDP2

يُقسَّم كل معامل من معاملات Layer الأصلية عبر البُعد صفر، ويُوزَّع بين وحدتي معالجة رسومية. الآن، كل طبقة Linear هي DTensor منفصلة، وتخزين البيانات الوصفية لكل معامل ممكن وبسيط.

في الصورة أعلاه، تم تقسيم الموترات عبر البُعد الأول من أجل ملاءمة الصورة على الشاشة، وفي الواقع، يتم تقسيمها عبر البُعد صفر كما هو موضح أعلاه

ماذا يقدم FSDP2؟

FSDP2 هو إصدار جديد ومحسّن من واجهة برمجة التطبيقات الخاصة بالتدريب المتوازي للبيانات المجزأة بالكامل في PyTorch. ميزته الرئيسية هي استخدام DTensor لتمثيل المعاملات المجزأة. مقارنةً بـ FSDP1، يقدم:

  • تنفيذ داخلي أبسط، حيث يكون كل Parameter عبارة عن DTensor منفصل
  • يتيح تجميدًا جزئيًا بسيطًا للمعاملات بسبب ما سبق، مما يجعل طرقًا مثل LORA تعمل مباشرة دون إعدادات إضافية
  • مع DTensor، يدعم FSDP2 خلط fp8 وأنواع المعاملات الأخرى في نفس النموذج دون أي إعداد مسبق
  • تحقق أسرع وأبسط للنقاط المحفوظة دون تواصل إضافي بين الرتب باستخدام SHARDED_STATE_DICT و torch.distributed.checkpoint، بحيث يقوم كل رتبة بحفظ شقته الخاصة والميتاداتا المقابلة لها
  • للتحميل، يستخدم state_dict للنموذج المجزأ لتحميل المعاملات المجزأة مباشرة
  • دعم الحفظ غير المتزامن (asynchronous checkpointing)، حيث تُنسخ المعاملات أولاً إلى ذاكرة المعالج المركزي (CPU)، ثم يستمر الخيط الرئيسي (main thread) في التدريب بينما يقوم خيط آخر (thread) بتخزين المعاملات على القرص
  • كفاءة الذاكرة واستخدام ذاكرة حتمي، لم يعد FSDP2 يستخدم recordStream بل يعتمد على المزامنة بين التدفقات (لمزيد من التفاصيل التقنية راجع هذا المنشور في المنتدى وهذه المشكلة)
  • في المستقبل، من المخطط تحسين أنماط الاتصال عبر torch.compile، مما سيؤدي إلى تحسين الأداء وكفاءة استخدام الذاكرة بشكل أكبر

اختلافات واجهة برمجة التطبيقات

لقد ناقشنا بالفعل الفروقات الداخلية، والآن لنناقش الفروقات التي ستحتاج أنت، بصفتك مستخدماً، إلى معرفتها.

إليك أبرز التغييرات في خيارات التهيئة عند استخدام FSDP2 عبر سطر أوامر accelerate:

السابق (FSDP1)جديد (FSDP2)ما الذي تغيّر
--fsdp_sharding_strategy--fsdp_reshard_after_forwardيستبدل --fsdp_sharding_strategy، وقد تغيّر إلى true (سابقاً FULL_SHARD) أو false (سابقاً SHARD_GRAD_OP)
--fsdp_backward_prefetch**تمت الإزالة**FSDP2 يستخدم خيار BACKWARD_PRE السابق افتراضياً، إذ لا يسمح هذا الخيار وحده بتداخل الاتصالات والحسابات
--fsdp_forward_prefetch**لم يتم تنفيذه بعد**كيف يتم تنفيذ هذا قيد النقاش النشط، وفي الوقت الحالي لا يُدعم في FSDP2
--fsdp_sync_module_states**تمت الإزالة**مع FSDP2، يصبح هذا المعامل زائداً
--fsdp_cpu_ram_efficient_loading--fsdp_cpu_ram_efficient_loadingإذا كان true، فسيقوم FSDP2 بشكل مشابه بتحميل النموذج على الرتبة 0 فقط، ثم يتم مزامنة المعلمات مع الرتب الأخرى، وهذا هو السلوك نفسه في FSDP1، ومع ذلك، لم يعد من الضروري تعيين --fsdp_sync_module_states
--fsdp_state_dict_type--fsdp_state_dict_typeيصبح LOCAL_STATE_DICT غير مستخدم، ومع FSDP2 يصبح SHARDED_STATE_DICT الخيار الافتراضي، مما يؤدي إلى عدم وجود اتصالات إضافية وحفظ كل رتبة (rank) لقسمها الخاص، والخيار الآخر الممكن هو FULL_STATE_DICT والذي يؤدي إلى اتصالات إضافية وارتفاع في استخدام الذاكرة لكنه يحفظ النموذج الكامل من الرتبة 0.
--fsdp_use_orig_params**تمت الإزالة**FSDP2 يستخدم فئة DTensor في الخلفية، مما يعني أنه دائمًا يستخدم المعاملات الأصلية افتراضيًا
**جديد**--fsdp_version1 هو الخيار الافتراضي، وذلك لتفادي كسر الأكواد الموجودة مسبقًا، اضبطه على 2 لاستخدام FSDP2

بالنسبة لجميع الخيارات الأخرى التي تبقى دون تغيير، راجع توثيق FSDP.

كيفية الانتقال إلى FSDP2

في حال استخدام كود بايثون:

ما عليك سوى تعيين fsdp_version=2 عند إنشاء الإضافة الخاصة بك واستبدال الخيارات وفقاً للجدول أعلاه.

from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)

في حال استخدام تكوين YAML:

استخدم أداة التحويل الخاصة بنا:

accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml

سيؤدي هذا تلقائيًا إلى تحويل جميع إعدادات FSDP1 إلى ما يعادلها في FSDP2. استخدم --overwrite لتحديث الملف الموجود بدلاً من إنشاء ملف جديد.

Update on GitHub