# طرق التدريب بدقة منخفضة

أدت إصدارات أنواع جديدة من العتاد إلى ظهور نماذج تدريب جديدة تستغلها بشكل أفضل. حالياً، يتخذ هذا الشكل تدريب الدقة الثمانية بت (8-bit) باستخدام حزم مثل [TransformersEngine](https://github.com/NVIDIA/TransformerEngine) (TE) أو [torchao](https://github.com/pytorch/ao) (PyTorch FP8 الأصلية).

للاطلاع على مقدمة للمواضيع التي نناقشها اليوم، ننصح بمراجعة [دليل استخدام الدقة المنخفضة](../usage_guides/low_precision_training) حيث سيشير هذا المستند إليه بانتظام.

## مخطط سريع

فيما يلي مخطط سريع يُظهر دقة البت المختلفة لكل حل أثناء التدريب:

مستوى التحسين | الحساب (GEMM) | الاتصال | الأوزان | الوزن الرئيسي | تدرج الوزن | حالات المُحسِّن -- | -- | -- | -- | -- | -- | -- FP16 AMP | FP16 | FP32 | FP32 | غير متاح | FP32 | FP32+FP32 Nvidia TE | FP8 | FP32 | FP32 | غير متاح | FP32 | FP32+FP32

## `TransformersEngine`

`TransformersEngine` هو أول حل لتدريب النماذج باستخدام نقاط عائمة بدقة 8 بت. يعمل عن طريق استخدام طبقات بديلة مباشرة (drop-in replacement) لبعض الطبقات في النموذج، مستفيدًا من محرك FP8 الخاص بها لتقليل عدد البتات (مثلًا من 32 إلى 8) دون الإضرار بالدقة النهائية للنموذج.

تحديداً، سيقوم Accelerate بالبحث عن الطبقات التالية واستبدالها بنسخ `TransformersEngine` منها:

* `nn.LayerNorm` إلى `te.LayerNorm`
* `nn.Linear` إلى `te.Linear`

نتيجةً لذلك، نحصل على نموذج تكون معظم طبقاته في BF16، بينما تكون بعض الطبقات في FP8 مما يقلل من بعض الذاكرة.

من الناحية العملية، لاحظنا أن مكاسب الأداء لا تبدأ بالظهور فعلياً عند استخدام `TransformerEngine` إلا عندما تتكون الغالبية العظمى من طبقات النموذج من هاتين الطبقتين اللتين يتم استبدالهما. ونتيجةً لذلك، لم تُظهر النماذج الأكبر حجماً تحسناً في الأداء إلا عندما يكون عدد المعاملات في حدود بضعة مليارات أو أكثر.

يمكن أن يستقبل `TransformerEngine` العديد من الحجج المختلفة التي تُخصِّص كيفية إجراءه لحسابات FP8 وما تفعله. القائمة الكاملة للحجج متاحة أدناه:

* `margin`: الهامش المستخدم لتدرّج التدرّج.
* `interval`: الفترة المستخدمة لتحديد تكرار إعادة حساب عامل التوسيع.
* `fp8_format``: The format to use for the FP8 recipe. Must be one of `HYBRID` or `E4M3`. (Generally `HYBRID` for training, `E4M3` for evaluation)
* `amax_history_len`: طول السجل المستخدم لحساب عامل التوسيع
* `amax_compute_algo`: الخوارزمية المستخدمة لحساب عامل التوسع. يجب أن تكون إما `max` أو `most_recent`.
* `override_linear_precision`: ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـ `fprop` و`dgrad` و`wgrad` بدقة أعلى.

يمكنك تخصيص كلٍّ من هذه العناصر كجزء من [utils.TERecipeKwargs](/docs/accelerate/v1.16.0/ar/package_reference/fp8#accelerate.utils.TERecipeKwargs) للمساعدة في تحسين أداء نماذجك.

إذا لاحظنا في المخطط المذكور سابقًا، فإن TE يحوّل طبقات الحساب إلى FP8، بينما تبقى كل العناصر الأخرى في FP32. ونتيجةً لذلك، يستهلك هذا النهج أكبر قدر من الذاكرة، لكنه يحقق ذلك مع فائدة ضمان أدنى قدر من الفقد في دقة النتائج النهائية أثناء التدريب.

