Transformers documentation
HIGGS
시작하기
기본 클래스
모델
Preprocessors
추론
Pipeline API
Generate API
최적화
모델과 대화하기
서빙
학습
하드웨어
양자화
생태계 통합
리소스
API
HIGGS
HIGGS는 각 가중치 행렬에 Hadamard 변환을 적용한 후, 교정 데이터 없이 평균 제곱 오차를 최소화하는 그리드로 가중치 그룹을 반올림합니다. NVIDIA GPU에서 2~4비트 가중치에 사용하며, FLUTE 커널이 matmul을 실행합니다.
아래 표는 Transformers에서 HIGGS가 지원하는 내용을 요약합니다.
| 설정 | HiggsConfig |
quant_method | higgs |
| 워크플로 | Quantize while loading |
| Bits | 2, 3, 4 |
| 하드웨어 | CUDA |
| 저장 | ✅ |
| 파인튜닝 | ❌ |
| 자동 컴파일 | ❌ |
HIGGS 설치
FLUTE 0.3.0 이상, fast-hadamard-transform, Accelerate를 설치하세요.
pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerateHIGGS로 모델 양자화
Create a HiggsConfig and pass it to from_pretrained(). Set device_map to your CUDA devices, and load the model in fp16 or bf16.
from transformers import AutoModelForCausalLM, HiggsConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=HiggsConfig(bits=4),
device_map="cuda",
)가중치가 로드된 후, FLUTE는 GPU의 각 레이어에 대해 커널을 튜닝하고 가중치를 다시 패키징합니다. 튜닝 결과는 설정의 tune_metadata에 저장되므로, 저장된 모델은 다시 튜닝할 필요가 없습니다.
HIGGS 구성
이 HiggsConfig 매개변수는 가중치가 양자화되는 방식을 변경합니다.
| 매개변수 | 기본값 | 효과 |
|---|---|---|
bits | 4 | 각 가중치당 비트 수. 2, 3, 4를 지원합니다. |
p | 2 | 양자화 그리드의 차원으로, 1 또는 2입니다. p=2인 그리드는 가중치 쌍을 함께 반올림하여 더 높은 정확도를 제공합니다. |
group_size | 256 | 스케일을 공유하는 가중치의 수입니다. 64, 128, 256을 지원합니다. hadamard_size로 나누어떨어져야 합니다. |
hadamard_size | 512 | Hadamard 변환의 크기입니다. 각 레이어의 입력 차원은 이 크기의 배수로 패딩됩니다. 값이 작을수록 정확도가 낮아집니다. |
torch.compile로 추론 속도 향상
컴파일 없이 HIGGS를 실행하면 bf16보다 느립니다. generate()는 HIGGS 모델을 자동으로 컴파일하지 않으므로, torch.compile을 사용하여 모델을 직접 컴파일해야 합니다.
model = torch.compile(model)아래 표는 RTX 4090에서 Llama-3.1-8B-Instruct의 초당 포워드 패스 수를 보여줍니다.
| 배치 크기 | bf16 (컴파일됨) | HIGGS 4-bit | HIGGS 4-bit (컴파일됨) |
|---|---|---|---|
| 1 | 59 | 41 | 124 |
| 4 | 57 | 42 | 123 |
| 16 | 56 | 41 | 120 |
한계
- HIGGS에는 CUDA GPU가 필요합니다. CUDA GPU 없이 로드하면
NotImplementedError가 발생합니다. device_map없이 로드하거나,"cpu"또는"disk"를 포함하는device_map으로 로드하면ValueError가 발생합니다.- fp16 또는 bf16 이외의 dtype로 로드하면
ValueError가 발생합니다.
리소스
- Linearity Theorem을 통한 대규모 언어 모델 양자화의 한계 확장 논문
- FLUTE 저장소
- ISTA-DASLab의 HIGGS 모델 컬렉션