Accelerate documentation

طرق التدريب بدقة منخفضة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

طرق التدريب بدقة منخفضة

أدت إصدارات أنواع جديدة من العتاد إلى ظهور نماذج تدريب جديدة تستغلها بشكل أفضل. حالياً، يتخذ هذا الشكل تدريباً بدقة 8 بت باستخدام حزم مثل TransformersEngine (TE) أو torchao (PyTorch FP8 الأصلية).

للاطلاع على مقدمة للمواضيع التي نناقشها اليوم، ننصح بمراجعة دليل استخدام الدقة المنخفضة حيث سيشير هذا المستند إليه بانتظام.

مخطط سريع

فيما يلي مخطط سريع يُظهر دقة البت المختلفة لكل حل أثناء التدريب:

مستوى التحسينالحساب (GEMM)Commالوزنالوزن الرئيسيتدرج الوزنحالات المُحسِّن
AMP بدقة FP16FP16FP32FP32N/AFP32FP32+FP32
Nvidia TEFP8FP32FP32N/AFP32FP32+FP32

TransformersEngine

TransformersEngine هو أول حل لتدريب النماذج باستخدام نقاط عائمة بدقة 8 بت. يعمل عن طريق استخدام طبقات بديلة مباشرة (drop-in replacement) لبعض الطبقات في النموذج، مستفيدًا من محرك FP8 الخاص بها لتقليل عدد البتات (مثلًا من 32 إلى 8) دون الإضرار بالدقة النهائية للنموذج.

تحديداً، سيقوم Accelerate بالبحث عن الطبقات التالية واستبدالها بنسخ TransformersEngine منها:

  • nn.LayerNorm إلى te.LayerNorm
  • nn.Linear إلى te.Linear

نتيجةً لذلك، نحصل على نموذج تكون معظم طبقاته في BF16، بينما تكون بعض الطبقات في FP8 مما يقلل من بعض الذاكرة.

من خلال الملاحظات العملية، لاحظنا أن مكاسب الأداء لا تبدأ بالظهور فعلياً عند استخدام TransformerEngine إلا عندما تتكون الغالبية العظمى من طبقات النموذج من هاتين الطبقتين اللتين يتم استبدالهما. ونتيجةً لذلك، لم تُظهر النماذج الأكبر حجماً تحسناً في الأداء إلا عندما يكون عدد المعلمات في حدود بضعة مليارات أو أكثر.

يمكن أن يستقبل TransformerEngine العديد من الحجج المختلفة التي تُخصِّص كيفية إجراءه لحسابات FP8 وما تفعله. القائمة الكاملة للحجج متاحة أدناه:

  • margin: الهامش المستخدم لتدرّج التدرّج.
  • interval: الفترة المستخدمة لتحديد تكرار إعادة حساب عامل التوسيع.
  • fp8_format``: The format to use for the FP8 recipe. Must be one ofHYBRIDorE4M3. (GenerallyHYBRIDfor training,E4M3` for evaluation)
  • amax_history_len: طول السجل المستخدم لحساب عامل التوسيع
  • amax_compute_algo: الخوارزمية المستخدمة لحساب عامل التوسع. يجب أن تكون إما max أو most_recent.
  • override_linear_precision: ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـ fprop وdgrad وwgrad بدقة أعلى.

يمكنك تخصيص كلٍّ من هذه العناصر كجزء من utils.TERecipeKwargs للمساعدة في تحسين أداء نماذجك.

إذا لاحظنا في المخطط المذكور سابقًا، فإن TE يحوّل طبقات الحساب إلى FP8، بينما تبقى كل العناصر الأخرى في FP32. ونتيجةً لذلك، يستهلك هذا النهج أكبر قدر من الذاكرة، لكنه يحقق ذلك مع فائدة ضمان أدنى قدر من الفقد في دقة النتائج النهائية أثناء التدريب.

Update on GitHub