Transformers documentation

TensorRT-LLM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TensorRT-LLM

TensorRT-LLM mengoptimalkan inferensi LLM pada GPU NVIDIA. Ia mengompilasi model menjadi mesin TensorRT dengan in-flight batching, paged KV caching, dan tensor parallelism. AutoDeploy menerima model Transformers tanpa memerlukan perubahan apa pun. Ia secara otomatis mengonversi model ke runtime yang dioptimalkan.

Lewati model id dari Hub ke build_and_run_ad.py untuk menjalankan model Transformers.

cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1B

Di balik layar, AutoDeploy membuat kelas LLM. Konfigurasi model dimuat dengan AutoConfig.from_pretrained() dan metadata paralelisme apa pun yang disimpan di tp_plan diekstrak. AutoModelForCausalLM.from_pretrained() memuat model dengan konfigurasi tersebut dan mengaktifkan tensor parallelism bawaan Transformers.

from tensorrt_llm._torch.auto_deploy import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B")

TensorRT-LLM mengekstrak graf model dengan torch.export dan menerapkan optimasi. Ia mengganti perhatian Transformers dengan kernel perhatian TensorRT-LLM dan mengompilasi model menjadi backend eksekusi yang dioptimalkan.

Sumber daya

Update on GitHub