Transformers documentation
TensorRT-LLM
TensorRT-LLM
TensorRT-LLM mengoptimalkan inferensi LLM pada GPU NVIDIA. Ia mengompilasi model menjadi mesin TensorRT dengan in-flight batching, paged KV caching, dan tensor parallelism. AutoDeploy menerima model Transformers tanpa memerlukan perubahan apa pun. Ia secara otomatis mengonversi model ke runtime yang dioptimalkan.
Lewati model id dari Hub ke build_and_run_ad.py untuk menjalankan model Transformers.
cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1BDi balik layar, AutoDeploy membuat kelas LLM. Konfigurasi model dimuat dengan AutoConfig.from_pretrained() dan metadata paralelisme apa pun yang disimpan di tp_plan diekstrak. AutoModelForCausalLM.from_pretrained() memuat model dengan konfigurasi tersebut dan mengaktifkan tensor parallelism bawaan Transformers.
from tensorrt_llm._torch.auto_deploy import LLM
llm = LLM(model="meta-llama/Llama-3.2-1B")TensorRT-LLM mengekstrak graf model dengan torch.export dan menerapkan optimasi. Ia mengganti perhatian Transformers dengan kernel perhatian TensorRT-LLM dan mengompilasi model menjadi backend eksekusi yang dioptimalkan.
Sumber daya
- Dokumentasi TensorRT-LLM untuk panduan penggunaan yang lebih detail.
- Panduan AutoDeploy menjelaskan cara kerjanya dengan contoh lanjutan.