Transformers documentation
NVFP4
NVFP4
NVFP4 — это 4-битный формат с плавающей запятой от NVIDIA. Каждый блок из 16 весов использует общий масштаб FP8, а каждый тензор имеет дополнительный масштаб FP32. Transformers квантует веса при загрузке модели и квантует активации на лету, поэтому prefill выполняется как W4A4 matmul на тензорных ядрах Blackwell, а decode — как W4A16 matmul. Используйте этот формат для запуска 4-битных моделей на GPU Blackwell.
Таблица ниже обобщает, что NVFP4 поддерживает в Transformers.
| Конфигурация | NVFP4Config |
quant_method | nvfp4 |
| Рабочий процесс | Квантование при загрузке |
| Биты | 4 |
| Аппаратное обеспечение | Один CUDA GPU с вычислительной способностью 10.0+ (Blackwell) |
| Сохранить | ❌ |
| Настройка | ❌ |
| Автокомпиляция | ✅ |
Установка ядер NVFP4
Transformers загружает ядра NVFP4 из репозитория kernels-community/nvfp4-gemm на Hub. Установите библиотеку kernels. Ядрам требуется сборка, соответствующая версиям PyTorch и CUDA.
pip install -U "transformers[kernels]"Квантование модели с NVFP4
Create a NVFP4Config and pass it to from_pretrained() with a device_map that places the whole model on one CUDA GPU. The source checkpoint must have floating-point weights.
from transformers import AutoModelForCausalLM, NVFP4Config
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)NVFP4 заменяет каждый слой torch.nn.Linear без смещения, у которого in_features и out_features делятся на 16. Остальные линейные слои сохраняют исходную точность. У NVFP4Config нет параметров, влияющих на квантование весов.
Ограничения
- NVFP4 требует CUDA-видеокарту с вычислительной способностью 10.0 или выше. Загрузка без CUDA-видеокарты или на более старой видеокарте вызывает
RuntimeError. - NVFP4 работает на одном GPU.
device_map, охватывающий несколько GPU, или тензорное параллелизм вызываютValueError. - NVFP4 не поддерживает выгрузку на CPU или диск.
device_map, содержащий"cpu"или"disk", либо полное отсутствиеdevice_mapприводит к возникновениюValueError. - NVFP4 не может загрузить предварительно квантованные чекпоинты NVFP4. При попытке загрузки возникает
ValueError. - Модели NVFP4 нельзя сохранить или дообучить.
Ресурсы
- блог-пост Представляем NVFP4 для эффективного и точного вывода с низкой точностью
- Ядро kernels-community/nvfp4-gemm на Hugging Face