Transformers documentation

HIGGS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HIGGS

HIGGS는 각 가중치 행렬에 Hadamard 변환을 적용한 후, 교정 데이터 없이 평균 제곱 오차를 최소화하는 그리드로 가중치 그룹을 반올림합니다. NVIDIA GPU에서 2~4비트 가중치에 사용하며, FLUTE 커널이 matmul을 실행합니다.

아래 표는 Transformers에서 HIGGS가 지원하는 내용을 요약합니다.

설정HiggsConfig
quant_methodhiggs
워크플로Quantize while loading
Bits2, 3, 4
하드웨어CUDA
저장✅
파인튜닝❌
자동 컴파일❌

HIGGS 설치

FLUTE 0.3.0 이상, fast-hadamard-transform, Accelerate를 설치하세요.

pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate

HIGGS로 모델 양자화

Create a HiggsConfig and pass it to from_pretrained(). Set device_map to your CUDA devices, and load the model in fp16 or bf16.

from transformers import AutoModelForCausalLM, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=HiggsConfig(bits=4),
    device_map="cuda",
)

가중치가 로드된 후, FLUTE는 GPU의 각 레이어에 대해 커널을 튜닝하고 가중치를 다시 패키징합니다. 튜닝 결과는 설정의 tune_metadata에 저장되므로, 저장된 모델은 다시 튜닝할 필요가 없습니다.

HIGGS 구성

이 HiggsConfig 매개변수는 가중치가 양자화되는 방식을 변경합니다.

매개변수기본값효과
bits4각 가중치당 비트 수. 2, 3, 4를 지원합니다.
p2양자화 그리드의 차원으로, 1 또는 2입니다. p=2인 그리드는 가중치 쌍을 함께 반올림하여 더 높은 정확도를 제공합니다.
group_size256스케일을 공유하는 가중치의 수입니다. 64, 128, 256을 지원합니다. hadamard_size로 나누어떨어져야 합니다.
hadamard_size512Hadamard 변환의 크기입니다. 각 레이어의 입력 차원은 이 크기의 배수로 패딩됩니다. 값이 작을수록 정확도가 낮아집니다.

torch.compile로 추론 속도 향상

컴파일 없이 HIGGS를 실행하면 bf16보다 느립니다. generate()는 HIGGS 모델을 자동으로 컴파일하지 않으므로, torch.compile을 사용하여 모델을 직접 컴파일해야 합니다.

model = torch.compile(model)

아래 표는 RTX 4090에서 Llama-3.1-8B-Instruct의 초당 포워드 패스 수를 보여줍니다.

배치 크기bf16 (컴파일됨)HIGGS 4-bitHIGGS 4-bit (컴파일됨)
15941124
45742123
165641120

한계

  • HIGGS에는 CUDA GPU가 필요합니다. CUDA GPU 없이 로드하면 NotImplementedError가 발생합니다.
  • device_map 없이 로드하거나, "cpu" 또는 "disk"를 포함하는 device_map으로 로드하면 ValueError가 발생합니다.
  • fp16 또는 bf16 이외의 dtype로 로드하면 ValueError가 발생합니다.

리소스

Update on GitHub