Transformers documentation

NVFP4

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

NVFP4

NVFP4 — это 4-битный формат с плавающей запятой от NVIDIA. Каждый блок из 16 весов использует общий масштаб FP8, а каждый тензор имеет дополнительный масштаб FP32. Transformers квантует веса при загрузке модели и квантует активации на лету, поэтому prefill выполняется как W4A4 matmul на тензорных ядрах Blackwell, а decode — как W4A16 matmul. Используйте этот формат для запуска 4-битных моделей на GPU Blackwell.

Таблица ниже обобщает, что NVFP4 поддерживает в Transformers.

КонфигурацияNVFP4Config
quant_methodnvfp4
Рабочий процессКвантование при загрузке
Биты4
Аппаратное обеспечениеОдин CUDA GPU с вычислительной способностью 10.0+ (Blackwell)
Сохранить❌
Настройка❌
Автокомпиляция✅

Установка ядер NVFP4

Transformers загружает ядра NVFP4 из репозитория kernels-community/nvfp4-gemm на Hub. Установите библиотеку kernels. Ядрам требуется сборка, соответствующая версиям PyTorch и CUDA.

pip install -U "transformers[kernels]"

Квантование модели с NVFP4

Create a NVFP4Config and pass it to from_pretrained() with a device_map that places the whole model on one CUDA GPU. The source checkpoint must have floating-point weights.

from transformers import AutoModelForCausalLM, NVFP4Config

quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

NVFP4 заменяет каждый слой torch.nn.Linear без смещения, у которого in_features и out_features делятся на 16. Остальные линейные слои сохраняют исходную точность. У NVFP4Config нет параметров, влияющих на квантование весов.

Ограничения

  • NVFP4 требует CUDA-видеокарту с вычислительной способностью 10.0 или выше. Загрузка без CUDA-видеокарты или на более старой видеокарте вызывает RuntimeError.
  • NVFP4 работает на одном GPU. device_map, охватывающий несколько GPU, или тензорное параллелизм вызывают ValueError.
  • NVFP4 не поддерживает выгрузку на CPU или диск. device_map, содержащий "cpu" или "disk", либо полное отсутствие device_map приводит к возникновению ValueError.
  • NVFP4 не может загрузить предварительно квантованные чекпоинты NVFP4. При попытке загрузки возникает ValueError.
  • Модели NVFP4 нельзя сохранить или дообучить.

Ресурсы

Update on GitHub