Accelerate documentation
طرق التدريب بدقة منخفضة
طرق التدريب بدقة منخفضة
أدت إصدارات أنواع جديدة من العتاد إلى ظهور نماذج تدريب جديدة تستغلها بشكل أفضل. حالياً، يتخذ هذا الشكل تدريباً بدقة 8 بت باستخدام حزم مثل TransformersEngine (TE) أو torchao (PyTorch FP8 الأصلية).
للاطلاع على مقدمة للمواضيع التي نناقشها اليوم، ننصح بمراجعة دليل استخدام الدقة المنخفضة حيث سيشير هذا المستند إليه بانتظام.
مخطط سريع
فيما يلي مخطط سريع يُظهر دقة البت المختلفة لكل حل أثناء التدريب:
| مستوى التحسين | الحساب (GEMM) | Comm | الوزن | الوزن الرئيسي | تدرج الوزن | حالات المُحسِّن |
|---|---|---|---|---|---|---|
| AMP بدقة FP16 | FP16 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
| Nvidia TE | FP8 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
TransformersEngine
TransformersEngine هو أول حل لتدريب النماذج باستخدام نقاط عائمة بدقة 8 بت. يعمل عن طريق استخدام طبقات بديلة مباشرة (drop-in replacement) لبعض الطبقات في النموذج، مستفيدًا من محرك FP8 الخاص بها لتقليل عدد البتات (مثلًا من 32 إلى 8) دون الإضرار بالدقة النهائية للنموذج.
تحديداً، سيقوم Accelerate بالبحث عن الطبقات التالية واستبدالها بنسخ TransformersEngine منها:
nn.LayerNormإلىte.LayerNormnn.Linearإلىte.Linear
نتيجةً لذلك، نحصل على نموذج تكون معظم طبقاته في BF16، بينما تكون بعض الطبقات في FP8 مما يقلل من بعض الذاكرة.
من خلال الملاحظات العملية، لاحظنا أن مكاسب الأداء لا تبدأ بالظهور فعلياً عند استخدام TransformerEngine إلا عندما تتكون الغالبية العظمى من طبقات النموذج من هاتين الطبقتين اللتين يتم استبدالهما. ونتيجةً لذلك، لم تُظهر النماذج الأكبر حجماً تحسناً في الأداء إلا عندما يكون عدد المعلمات في حدود بضعة مليارات أو أكثر.
يمكن أن يستقبل TransformerEngine العديد من الحجج المختلفة التي تُخصِّص كيفية إجراءه لحسابات FP8 وما تفعله. القائمة الكاملة للحجج متاحة أدناه:
margin: الهامش المستخدم لتدرّج التدرّج.interval: الفترة المستخدمة لتحديد تكرار إعادة حساب عامل التوسيع.fp8_format``: The format to use for the FP8 recipe. Must be one ofHYBRIDorE4M3. (GenerallyHYBRIDfor training,E4M3` for evaluation)amax_history_len: طول السجل المستخدم لحساب عامل التوسيعamax_compute_algo: الخوارزمية المستخدمة لحساب عامل التوسع. يجب أن تكون إماmaxأوmost_recent.override_linear_precision: ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـfpropوdgradوwgradبدقة أعلى.
يمكنك تخصيص كلٍّ من هذه العناصر كجزء من utils.TERecipeKwargs للمساعدة في تحسين أداء نماذجك.
إذا لاحظنا في المخطط المذكور سابقًا، فإن TE يحوّل طبقات الحساب إلى FP8، بينما تبقى كل العناصر الأخرى في FP32. ونتيجةً لذلك، يستهلك هذا النهج أكبر قدر من الذاكرة، لكنه يحقق ذلك مع فائدة ضمان أدنى قدر من الفقد في دقة النتائج النهائية أثناء التدريب.
Update on GitHub