Transformers documentation

Membangun backend model yang kompatibel untuk inferensi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Membangun backend model yang kompatibel untuk inferensi

Model Transformers kompatibel dengan mesin inferensi seperti vLLM dan SGLang. Gunakan model Transformers yang sama di mana pun dan hindari mengimplementasikan ulang model dari awal untuk setiap mesin inferensi. Hal ini juga membantu untuk model yang tidak diimplementasikan ulang secara native oleh mesin, selama model tersebut mendukung antarmuka backend perhatian yang dijelaskan di bawah.

Panduan ini menunjukkan cara mengimplementasikan model di Transformers yang berfungsi sebagai backend untuk mesin inferensi apa pun.

Implementasi model

  1. Ikuti panduan kontribusi model atau panduan kontribusi model kustom. Model harus memiliki config.json yang valid di direktorinya dan field auto_map yang valid yang menunjuk ke kelas model di config.

  2. Gunakan kelas AttentionInterface untuk fungsi perhatian yang kustom dan dioptimalkan. Antarmuka ini membuka fitur performa dari setiap mesin inferensi.

    Gunakan ALL_ATTENTION_FUNCTIONS saat mendefinisikan lapisan perhatian dan propagasikan **kwargs dari kelas dasar MyModel ke lapisan perhatian. Atur _supports_attention_backend menjadi True di PreTrainedModel.

    Perluas kode di bawah untuk sebuah contoh.

    modeling_my_model.py
    from transformers import PreTrainedModel
    from transformers.modeling_utils import ALL_ATTENTION_FUNCTIONS
    from torch import nn
    
    class MyAttention(nn.Module):
    
        def forward(self, hidden_states, **kwargs):
            ...
            attention_interface = ALL_ATTENTION_FUNCTIONS[self.config._attn_implementation]
            attn_output, attn_weights = attention_interface(
                self,
                query_states,
                key_states,
                value_states,
                **kwargs,
            )
            ...
    
    class MyModel(PreTrainedModel):
        _supports_attention_backend = True
  3. Aktifkan paralelisme tensor atau pipeline opsional dengan menambahkan kunci berikut ke PreTrainedConfig.

    • base_model_tp_plan mengaktifkan tensor parallelism dengan memetakan pola nama layer yang sepenuhnya berkualifikasi ke gaya paralel tensor. Hanya mendukung strategi partisi "colwise" dan "rowwise".
    • base_model_pp_plan mengaktifkan pipeline parallelism dengan memetakan nama lapisan anak langsung ke tuple dari daftar string. Elemen pertama tuple berisi nama argumen input. Elemen terakhir berisi nama variabel dari output lapisan dalam kode modeling.

    Perluas kode di bawah untuk sebuah contoh.

    configuration_my_model.py
    
    from transformers import PreTrainedConfig
    
    class MyConfig(PreTrainedConfig):
        base_model_tp_plan = {
            "layers.*.self_attn.k_proj": "colwise",
            "layers.*.self_attn.v_proj": "colwise",
            "layers.*.self_attn.o_proj": "rowwise",
            "layers.*.mlp.gate_proj": "colwise",
            "layers.*.mlp.up_proj": "colwise",
            "layers.*.mlp.down_proj": "rowwise",
        }
        base_model_pp_plan = {
            "embed_tokens": (["input_ids"], ["inputs_embeds"]),
            "layers": (["hidden_states", "attention_mask"], ["hidden_states"]),
            "norm": (["hidden_states"], ["hidden_states"]),
        }

Model multimodal

Model multimodal memerlukan perubahan tambahan di luar panduan kontribusi model bahasa visual. Perubahan ini memastikan input multimodal diproses dengan benar.

  1. Kelas ProcessorMixin harus mencakup atribut self.image_token dan self.image_token_ids. Token placeholder ini menunjukkan posisi gambar dalam input. Token yang sama muncul dalam prompt input untuk gambar dan dalam kode model untuk menyebarkan fitur gambar.

  2. Kelas ProcessorMixin harus menyertakan metode self._get_num_multimodal_tokens. Metode ini menghitung jumlah token placeholder yang diperlukan untuk input multimodal dengan ukuran tertentu. Metode ini mengembalikan objek MultiModalData. Placeholder di antara token <image>, seperti token baris atau kolom, tidak dihitung sebagai placeholder gambar. Hitung hanya token yang kemudian diganti oleh fitur gambar dalam kode pemodelan.

  3. Kelas ProcessorMixin harus memeriksa nilai return_mm_token_type_ids dan mengembalikan mm_token_type_ids. Ini menunjukkan apakah setiap posisi adalah token teks (0), token placeholder gambar (1), atau token placeholder video (2). Urutan id tipe token multimodal harus berurutan tanpa jeda antar token yang berurutan. Perlakukan token khusus untuk token awal, akhir, baris, dan kolom sebagai placeholder.

Perluas kode di bawah untuk sebuah contoh.

modeling_my_multimodal_model.py
class MyMultimodalProcessor(ProcessorMixin):

    def __call__(self, images=None, text=None, **kwargs):
        if return_mm_token_type_ids:
            mm_token_type_ids = np.zeros_like(input_ids)
            mm_token_type_ids[input_ids == self.image_token_id] = 1
            text_inputs["mm_token_type_ids"] = mm_token_type_ids.tolist()
        return BatchFeature(data={**text_inputs, **image_inputs}, tensor_type=return_tensors)

    def _get_num_multimodal_tokens(self, image_sizes=None, **kwargs):
        """
        Computes the number of placeholder tokens needed for multimodal inputs with the given sizes.
        Args:
            image_sizes (`list[list[int]]`, *optional*):
                The input sizes formatted as (height, width) per each image.
        Returns:
            `MultiModalData`: A `MultiModalData` object holding number of tokens per each of the provided
            input modalities, along with other useful data.
        """
        vision_data = {}
        if image_sizes is not None:
            num_image_tokens = [256] * len(image_sizes) # 256 placeholder tokens for each image always
            num_image_patches = [1] * len(image_sizes) # no patching, thus each image is processed as a single base image
            vision_data.update({"num_image_tokens": num_image_tokens, "num_image_patches": num_image_patches})
        return MultiModalData(**vision_data)

Sumber daya

Update on GitHub