Update README.md
Browse files
README.md
CHANGED
|
@@ -58,7 +58,7 @@ Projet créé et maintenu par **[Mohamad Alhajar](https://www.linkedin.com/in/mo
|
|
| 58 |
|
| 59 |
| Paramètre | Valeur |
|
| 60 |
|-----------|--------|
|
| 61 |
-
| **Architecture** | Transformer décodant (Qwen-3
|
| 62 |
| **Taille du modèle** | ~ 16 Go (fp16) / 8 Go (bf16) |
|
| 63 |
| **Vocabulaire** | 151 k tokens (compat. Qwen) |
|
| 64 |
| **Corpus** | ≈ 1.2 T tokens, dont **1 %** de *FineFrench-v1* + corpus interne (juridique, tech, conversation) |
|
|
|
|
| 58 |
|
| 59 |
| Paramètre | Valeur |
|
| 60 |
|-----------|--------|
|
| 61 |
+
| **Architecture** | Transformer décodant (Qwen-3 8B), Rotary PE, FlashAttention-2 |
|
| 62 |
| **Taille du modèle** | ~ 16 Go (fp16) / 8 Go (bf16) |
|
| 63 |
| **Vocabulaire** | 151 k tokens (compat. Qwen) |
|
| 64 |
| **Corpus** | ≈ 1.2 T tokens, dont **1 %** de *FineFrench-v1* + corpus interne (juridique, tech, conversation) |
|