Transformers documentation
Membangun backend model yang kompatibel untuk inferensi
Membangun backend model yang kompatibel untuk inferensi
Model Transformers kompatibel dengan mesin inferensi seperti vLLM dan SGLang. Gunakan model Transformers yang sama di mana pun dan hindari mengimplementasikan ulang model dari awal untuk setiap mesin inferensi. Hal ini juga membantu untuk model yang tidak diimplementasikan ulang secara native oleh mesin, selama model tersebut mendukung antarmuka backend perhatian yang dijelaskan di bawah.
Panduan ini menunjukkan cara mengimplementasikan model di Transformers yang berfungsi sebagai backend untuk mesin inferensi apa pun.
Implementasi model
Ikuti panduan kontribusi model atau panduan kontribusi model kustom. Model harus memiliki
config.jsonyang valid di direktorinya dan fieldauto_mapyang valid yang menunjuk ke kelas model di config.Gunakan kelas AttentionInterface untuk fungsi perhatian yang kustom dan dioptimalkan. Antarmuka ini membuka fitur performa dari setiap mesin inferensi.
Gunakan
ALL_ATTENTION_FUNCTIONSsaat mendefinisikan lapisan perhatian dan propagasikan**kwargsdari kelas dasarMyModelke lapisan perhatian. Atur_supports_attention_backendmenjadiTruedi PreTrainedModel.Perluas kode di bawah untuk sebuah contoh.
modeling_my_model.py
from transformers import PreTrainedModel from transformers.modeling_utils import ALL_ATTENTION_FUNCTIONS from torch import nn class MyAttention(nn.Module): def forward(self, hidden_states, **kwargs): ... attention_interface = ALL_ATTENTION_FUNCTIONS[self.config._attn_implementation] attn_output, attn_weights = attention_interface( self, query_states, key_states, value_states, **kwargs, ) ... class MyModel(PreTrainedModel): _supports_attention_backend = TrueAktifkan paralelisme tensor atau pipeline opsional dengan menambahkan kunci berikut ke PreTrainedConfig.
base_model_tp_planmengaktifkan tensor parallelism dengan memetakan pola nama layer yang sepenuhnya berkualifikasi ke gaya paralel tensor. Hanya mendukung strategi partisi"colwise"dan"rowwise".base_model_pp_planmengaktifkan pipeline parallelism dengan memetakan nama lapisan anak langsung ke tuple dari daftar string. Elemen pertama tuple berisi nama argumen input. Elemen terakhir berisi nama variabel dari output lapisan dalam kode modeling.
Perluas kode di bawah untuk sebuah contoh.
configuration_my_model.py
from transformers import PreTrainedConfig class MyConfig(PreTrainedConfig): base_model_tp_plan = { "layers.*.self_attn.k_proj": "colwise", "layers.*.self_attn.v_proj": "colwise", "layers.*.self_attn.o_proj": "rowwise", "layers.*.mlp.gate_proj": "colwise", "layers.*.mlp.up_proj": "colwise", "layers.*.mlp.down_proj": "rowwise", } base_model_pp_plan = { "embed_tokens": (["input_ids"], ["inputs_embeds"]), "layers": (["hidden_states", "attention_mask"], ["hidden_states"]), "norm": (["hidden_states"], ["hidden_states"]), }
Model multimodal
Model multimodal memerlukan perubahan tambahan di luar panduan kontribusi model bahasa visual. Perubahan ini memastikan input multimodal diproses dengan benar.
Kelas ProcessorMixin harus mencakup atribut
self.image_tokendanself.image_token_ids. Token placeholder ini menunjukkan posisi gambar dalam input. Token yang sama muncul dalam prompt input untuk gambar dan dalam kode model untuk menyebarkan fitur gambar.Kelas ProcessorMixin harus menyertakan metode
self._get_num_multimodal_tokens. Metode ini menghitung jumlah token placeholder yang diperlukan untuk input multimodal dengan ukuran tertentu. Metode ini mengembalikan objekMultiModalData. Placeholder di antara token<image>, seperti token baris atau kolom, tidak dihitung sebagai placeholder gambar. Hitung hanya token yang kemudian diganti oleh fitur gambar dalam kode pemodelan.Kelas ProcessorMixin harus memeriksa nilai
return_mm_token_type_idsdan mengembalikanmm_token_type_ids. Ini menunjukkan apakah setiap posisi adalah token teks (0), token placeholder gambar (1), atau token placeholder video (2). Urutan id tipe token multimodal harus berurutan tanpa jeda antar token yang berurutan. Perlakukan token khusus untuk token awal, akhir, baris, dan kolom sebagai placeholder.
Perluas kode di bawah untuk sebuah contoh.
modeling_my_multimodal_model.py
class MyMultimodalProcessor(ProcessorMixin):
def __call__(self, images=None, text=None, **kwargs):
if return_mm_token_type_ids:
mm_token_type_ids = np.zeros_like(input_ids)
mm_token_type_ids[input_ids == self.image_token_id] = 1
text_inputs["mm_token_type_ids"] = mm_token_type_ids.tolist()
return BatchFeature(data={**text_inputs, **image_inputs}, tensor_type=return_tensors)
def _get_num_multimodal_tokens(self, image_sizes=None, **kwargs):
"""
Computes the number of placeholder tokens needed for multimodal inputs with the given sizes.
Args:
image_sizes (`list[list[int]]`, *optional*):
The input sizes formatted as (height, width) per each image.
Returns:
`MultiModalData`: A `MultiModalData` object holding number of tokens per each of the provided
input modalities, along with other useful data.
"""
vision_data = {}
if image_sizes is not None:
num_image_tokens = [256] * len(image_sizes) # 256 placeholder tokens for each image always
num_image_patches = [1] * len(image_sizes) # no patching, thus each image is processed as a single base image
vision_data.update({"num_image_tokens": num_image_tokens, "num_image_patches": num_image_patches})
return MultiModalData(**vision_data)Sumber daya
- Baca artikel blog Integrasi backend Transformers di vLLM untuk detail lebih lanjut.
- Baca artikel blog Integrasi backend Transformers di SGLang untuk detail lebih lanjut.