Transformers documentation

Inkling 2 Mini

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-11-21.

Inkling 2 Mini

Inkling 2 Mini هو نموذج متعدد الوسائط من Thinking Machines Lab يقبل مدخلات نصية وصورية وينتج مخرجات نصية. وهو مبني على Inkling 2 Small لكنه يحتوي على 24 طبقة فك ترميز فقط بدلاً من 48. يتم تعويض انخفاض عدد الطبقات بآلية تكرارية (looping) تقوم بتشغيل الطبقات من 6 إلى 17 ثلاث مرات. يتم تبادل المعلومات بين مرات التكرار عبر آلية تعلمية لتمرير الرسائل (message-passing) تخلط بقايا (residuals) المرة السابقة في مدخلات الانتباه (attention) وخلط الخبراء (mixture-of-experts) لكل طبقة تكرار. يبلغ حجم المخفي (hidden size) في فك الترميز 2304، ويوجّه كل رمز (token) إلى 8 من أصل 128 خبيرًا. مشفّر الصور ومجزّئ الرموز ومعالج البيانات مطابقان لتلك الموجودة في Inkling 2 Small.

يأتي Inkling 2 Mini مع نقطة تحقق بحثية إضافية تدعم عددًا متغيرًا من مرات المرور في الحلقة. البنية متطابقة تمامًا مع نموذج Inkling 2 Mini الرئيسي. يمكن تعديل عدد مرات المرور في الحلقة لتحقيق التوازن بين السرعة والجودة. فكلما قل عدد مرات المرور زادت السرعة، بينما يحسّن زيادة عدد مرات المرور من الجودة.

تحتوي كلا نقطتي التفتيش على طبقات مُكمّمة بنمطي NVFP4 وMXFP8، تقوم مكتبة Transformers بإلغاء تكميمها عند تحميل النموذج.

نقاط التفتيش

الموارد

خط أنابيب
AutoModel
AutoModel حلقات متغيرة
import torch

from transformers import pipeline

pipe = pipeline(
    "image-text-to-text", model="thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
            },
            {"type": "text", "text": "What animal is in this image, and where is it?"},
        ],
    },
]

output = pipe(messages, max_new_tokens=1024, return_full_text=False, skip_special_tokens=False)
print(output[0]["generated_text"])
# <|message_model|><|content_thinking|>The user is asking about an animal in an image. Let me
# analyze what I see: a small wild feline with thick, fluffy fur dusted with snow, short legs, a
# broad face, and black stripes/spots.
# ...
# <|end_message|><|message_model|><|content_text|>The animal appears to be a Pallas’s cat (manul) —
# a small, bear-like wild cat with thick speckled/striped fur. It’s standing on snow inside what
# looks like a zoo or wildlife enclosure, with snow-covered birch/log branches and a chain-link
# fence in the background.<|end_message|><|content_model_end_sampling|>

ملاحظات

  • يعمل الانتباه في الوضع العاجل فقط لأن كل طبقة تضيف انحياز موضع نسبي ومصرف.
  • تستخدم الالتفافات القصيرة نواة GPU سريعة عند توفرها: نواة Hub عند التحميل باستخدام use_kernels=True، وإلا حزمة causal-conv1d إذا كانت مثبتة (pip install causal-conv1d). في حال عدم توفرها، تعود إلى تنفيذ PyTorch أبطأ.
  • تحتفظ كل دورة عبر طبقات الحلقة بمفاتيحها وقيمها وحالات الالتفاف الخاصة بها، لذا يحتوي المخزن المؤقت على طبقة واحدة لكل زيارة للطبقة (48 للنقطة الفحصية المنشورة).
  • output_hidden_states وoutput_attentions تُرجع مدخلاً واحداً لكل زيارة للطبقة.

Inkling2LoopConfig

فئة transformers.Inkling2LoopConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: transformers.models.inkling2_loop.configuration_inkling2_loop.Inkling2LoopTextConfig | dict | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneimage_token_id: int = 200054 )

المعاملات

  • text_config (Union[~models.inkling2_loop.configuration_inkling2_loop.Inkling2LoopTextConfig, dict], اختياري) — كائن الإعدادات أو قاموس العمود الفقري النصي.
  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], اختياري) — كائن الإعدادات أو قاموس العمود الفقري البصري.
  • image_token_id (int، اختياري، القيمة الافتراضية 200054) — مؤشر الرمز الخاص بمواضع الصور، حيث يُستبدل كل منها بخاصية صورة واحدة.

هذه فئة الإعدادات المخزنة لإعدادات نموذج Inkling2LoopModel. تُستخدم لاستحداث نموذج Inkling2 Loop وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ thinkingmachines/Inkling-2-Mini

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

Inkling2LoopTextConfig

فئة transformers.Inkling2LoopTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 201024unpadded_vocab_size: int = 200058hidden_size: int = 2304num_hidden_layers: int = 24num_attention_heads: int = 24num_key_value_heads: int = 8head_dim: int = 128swa_num_attention_heads: int = 24swa_num_key_value_heads: int = 8swa_head_dim: int = 128sliding_window_size: int = 1024d_rel: int = 16rel_extent: int = 1024log_scaling_n_floor: int = 8192log_scaling_alpha: float = 0.1layer_types: list[str] | None = Nonemax_position_embeddings: int = 1048576rms_norm_eps: float = 1e-06conv_kernel_size: int = 4hidden_act: str = 'silu'moe_intermediate_size: int = 1152n_routed_experts: int = 128num_experts_per_tok: int = 8route_scale: float = 8.0attention_dropout: float = 0.0initializer_range: float = 0.02pad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | None = 200006qk_l2_clip_threshold: float = 22.627416997969522rel_l2_clip_threshold: float = 8.0n_layers_per_attn_res_block: int = 6mlp_gate_softcap: float = 4.0mlp_up_softcap: float = 25.0final_logit_softcapping: float = 30.0scoring_func: str = 'sigmoid'use_cache: bool = Trueloop_layer_index_start: int = 6loop_layer_index_end: int = 18loop_num_passes: int = 3loop_gate_rank: int = 64 )

المعاملات

  • vocab_size (int، اختياري، القيمة الافتراضية 201024) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة input_ids.
  • unpadded_vocab_size (int، اختياري، القيمة الافتراضية 200058) — حجم مخرج رأس نمذجة اللغة. يتم توسيد إلغاء التضمين في نقطة الحفظ إلى vocab_size، وتُحذف الصفوف المُوسَّدة عند التحميل وتُستعاد كأصفار عند الحفظ.
  • hidden_size (int، اختياري، القيمة الافتراضية 2304) — أبعاد التمثيلات المخفية.
  • num_hidden_layers (int، اختياري، القيمة الافتراضية 24) — عدد الطبقات المخفية في مُفكِّك Transformer.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 24) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • num_key_value_heads (int، اختياري، القيمة الافتراضية 8) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق تجميع المتوسط لجميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فستكون القيمة الافتراضية هي num_attention_heads.
  • head_dim (int، اختياري، القيمة الافتراضية 128) — بعد رأس الانتباه. إذا كانت القيمة None، فستكون القيمة الافتراضية هي hidden_size // num_attention_heads
  • swa_num_attention_heads (int، اختياري، القيمة الافتراضية 24) — عدد رؤوس الانتباه في طبقات النافذة المنزلقة.
  • swa_num_key_value_heads (int، اختياري، القيمة الافتراضية 8) — عدد رؤوس المفاتيح/القيم في طبقات النافذة المنزلقة.
  • swa_head_dim (int، اختياري، القيمة الافتراضية 128) — أبعاد رؤوس الاستعلام والمفتاح في طبقات النافذة المنزلقة.
  • sliding_window_size (int، اختياري، القيمة الافتراضية 1024) — حجم نافذة الانتباه المنزلقة المستخدمة في الطبقات التي يكون إدخال layer_types الخاص بها "hybrid_sliding".
  • d_rel (int، اختياري، القيمة الافتراضية 16) — البُعد لكل رأس (head) للحالات النسبية التي تُدمج في انحياز الموضع النسبي.
  • rel_extent (int، اختياري، القيمة الافتراضية 1024) — المسافة الخلفية، بوحدة الرموز، التي يُطبَّق عليها انحياز الموضع النسبي في طبقات الانتباه الكامل.
  • log_scaling_n_floor (int، اختياري، القيمة الافتراضية 8192) — الموضع الذي تبدأ منه الاستعلامات والحالات النسبية في التوسع اللوغاريتمي في طبقات الانتباه الكامل.
  • log_scaling_alpha (float، اختياري، القيمة الافتراضية 0.1) — قوة التدرّج اللوغاريتمي الذي تتحكم به log_scaling_n_floor.
  • layer_types (list[str], اختياري) — قائمة تُقرن بشكل صريح كل فهرس طبقة بنوعها. إذا لم تُقدَّم، فسيتم توليدها تلقائيًا بناءً على قيم الإعداد.
  • max_position_embeddings (int، اختياري، القيمة الافتراضية 1048576) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج على الإطلاق.
  • rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
  • conv_kernel_size (int، اختياري، القيمة الافتراضية 4) — حجم نواة الالتفاف.
  • hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
  • moe_intermediate_size (int، اختياري، القيمة الافتراضية 1152) — الحجم الوسيط لشبكات MLP للخبراء الموجَّهين.
  • n_routed_experts (int، اختياري، القيمة الافتراضية 128) — عدد الخبراء الموجَّهين.
  • num_experts_per_tok (int، اختياري، القيمة الافتراضية 8) — عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز.
  • route_scale (float، اختياري، القيمة الافتراضية 8.0) — معامل التوسيع للخبراء الموجَّهين.
  • attention_dropout (float، اختياري، القيمة الافتراضية 0.0) — نسبة الإسقاط (dropout) لاحتمالات الانتباه.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • pad_token_id (int, اختياري) — معرّف الرمز المستخدم للتعبئة في المفردات.
  • bos_token_id (int, اختياري) — معرّف الرمز المستخدم لبدء البث في المفردات.
  • eos_token_id (int، اختياري، القيمة الافتراضية 200006) — معرّف الرمز المستخدم لنهاية البث في المفردات.
  • qk_l2_clip_threshold (float، اختياري، القيمة الافتراضية 22.627416997969522) — الحد الأقصى لطول L2 لكل متجه رأس استعلام ومفتاح. يتم تصغير المتجهات الأطول إلى هذا الطول.
  • rel_l2_clip_threshold (float، اختياري، القيمة الافتراضية 8.0) — الحد الأقصى لطول متجه رأس الحالة النسبية (L2 norm) لكل رأس.
  • n_layers_per_attn_res_block (int، اختياري، القيمة الافتراضية 6) — عدد طبقات المُفكِّك (decoder) التي تُجمَّع في كتلة واحدة قبل أن تصبح تلك الكتلة مصدرًا لبقايا الانتباه (attention residuals).
  • mlp_gate_softcap (float، اختياري، القيمة الافتراضية 4.0) — Softcap المطبّق على الجزء الخطي من إسقاط بوابة الخبراء.
  • mlp_up_softcap (float، اختياري، القيمة الافتراضية 25.0) — Softcap المطبّق على الإسقاط الصاعد للخبراء.
  • final_logit_softcapping (float، اختياري، القيمة الافتراضية 30.0) — Softcap المطبّق على logits المخرجات.
  • scoring_func (str، اختياري، القيمة الافتراضية "sigmoid") — دالة التنشيط التي تحوّل قيم التوجيه (logits) إلى درجات الخبراء.
  • use_cache (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان config.is_decoder=True أو إذا كان النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.
  • loop_layer_index_start (int، اختياري، القيمة الافتراضية 6) — مؤشر أول طبقة فك الترميز المُعاد استخدامها. يجب أن يكون مضاعفاً لـn_layers_per_attn_res_block.
  • loop_layer_index_end (int، اختياري، القيمة الافتراضية 18) — المؤشر بعد آخر طبقة مُفصِّلة مُعاد استخدامها. تُعاد طبقات loop_layer_index_start إلى loop_layer_index_end - 1. يجب أن يكون مضاعفاً لـn_layers_per_attn_res_block.
  • loop_num_passes (int، اختياري، القيمة الافتراضية 3) — عدد الحلقات.
  • loop_gate_rank (int، اختياري، القيمة الافتراضية 64) — رتبة إسقاطات بوابة الرسائل التي تمزج كتل البواقي من المرور السابق في المرور الحالي.

هذه فئة الإعدادات المخزنة لإعدادات نموذج Inkling2LoopModel. تُستخدم لاستحداث نموذج Inkling2 Loop وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ thinkingmachines/Inkling-2-Mini

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

Inkling2LoopPreTrainedModel

فئة transformers.Inkling2LoopPreTrainedModel

< >

( config: PreTrainedConfig*inputs**kwargs )

المعاملات

  • config (PreTrainedConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

( *args**kwargs )

قيمة وهمية لمسار منقّط (مثل torch.float32): سلاسل الوصول إلى السمات، والاستدعاءات تتصرف كمُزيّنات (decorators) مرّرة، وrepr هو المسار المنقّط، وعند استخدامه كصنف أساسي يُستبدل بصنف أساسي من نوع type عادي (بموجب __mro_entries__ في PEP 560)، بحيث تحتفظ الصنوف الفرعية الحقيقية بفئة ميتا (metaclass) عادية، وتقرأ inspect.signature دالة __init__ الحقيقية الخاصة بها بدلاً من تلك الوهمية.

Inkling2LoopTextModel

فئة transformers.Inkling2LoopTextModel

< >

( config: Inkling2LoopTextConfig )

المعاملات

  • config (Inkling2LoopTextConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Inkling2 Loop Text الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].

    ما هي معرّفات المواقع؟

  • cache (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من cache الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.

    يُسمح فقط بمرجع Cache كمدخل، راجد دليل kv cache الخاص بنا. إذا لم يتم تمرير أي cache، فسيتم تهيئة DynamicCache افتراضيًا.

    سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

    إذا تم استخدام cache، يُتوقع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
  • use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات مفاتيح وقيم cache ويمكن استخدامها لتسريع فك الترميز (انظر cache).

يعيد

MoeModelOutputWithPast أو tuple(torch.Tensor)

MoeModelOutputWithPast أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

تتجاوز طريقة Inkling2LoopTextModel الأمامية الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.

  • cache (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند config.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv.

    تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان config.is_encoder_decoder=True) يمكن استخدامها (انظر مدخل cache) لتسريع فك الترميز التسلسلي.

  • hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

    حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.

  • attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

    أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

  • router_logits (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_router_probs=True وconfig.add_router_probs=True أو عند config.output_router_probs=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, sequence_length, num_experts).

    قيمات logits الخام (بعد تطبيق دالة softmax) التي يحسبها موجّهو MoE، وتُستخدم هذه القيم لحساب الخسارة المساعدة في نماذج مزيج الخبراء.

Inkling2LoopForCausalLM

فئة transformers.Inkling2LoopForCausalLM

< >

( config: Inkling2LoopTextConfig )

المعاملات

  • config (Inkling2LoopTextConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Inkling2 Loop لنمذجة اللغة السببية.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopCausalLMOutputWithPast or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].

    ما هي معرّفات المواقع؟

  • cache (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من cache الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.

    يُسمح فقط بمرجع Cache كمدخل، راجد دليل kv cache الخاص بنا. إذا لم يتم تمرير أي cache، فسيتم تهيئة DynamicCache افتراضيًا.

    سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

    إذا تم استخدام cache، يُتوقع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
  • labels (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — تسميات لحساب خسارة نمذجة اللغة السببية. يجب أن تكون الفهارس ضمن [-100, 0, ..., config.vocab_size] (انظر input_ids توثيق -100 تُتجاهل الرموز ذات الفهارس المضبوطة على [0, ..., config.vocab_size].

    تُزاح التسميات داخليًا بحيث تُستخدم labels[..., 1:] للتنبؤ بـ logits[..., :-1, :]. مرر تسميات غير مزاحة تطابق input_ids (أي labels = input_ids). لا تقم بإزاحة التسميات بنفسك قبل تمريرها.

    إذا كانت التسميات مُزاحة بالفعل (على سبيل المثال باستخدام توازى التسلسل)، فمررها كحجة الكلمة المفتاحية shift_labels وستُستخدم كما هي. لا يزال يجب تمرير labels حتى يتم حساب الخسارة.

  • use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات مفاتيح وقيم cache ويمكن استخدامها لتسريع فك الترميز (انظر cache).
  • logits_to_keep (Union[int, torch.Tensor]، اختياري، القيمة الافتراضية 0) — إذا كان int، يتم حساب logits لآخر logits_to_keep رموز. إذا كانت القيمة 0، يتم حساب logits لجميع input_ids (حالة خاصة). لا يُحتاج إلى logits إلا للرمز الأخير في عملية التوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة كبيرة، وهو أمر مهم بشكل ملحوظ للتسلسلات الطويلة أو حجم المفردات الكبير. إذا كان torch.Tensor، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول التسلسل. يكون هذا مفيدًا عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول التسلسل).

يعيد

Inkling2LoopCausalLMOutputWithPast أو tuple(torch.Tensor)

Inkling2LoopCausalLMOutputWithPast أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

تتجاوز طريقة Inkling2LoopForCausalLM الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • loss (torch.FloatTensor من الشكل (1,)، اختياري، يُعاد عند توفير labels) — خسارة نمذجة اللغة (لتوقع الرمز التالي).

  • logits (torch.FloatTensor من الشكل (batch_size, sequence_length, config.vocab_size)) — درجات التنبؤ لرأس نمذجة اللغة (درجات كل رمز في المفردات قبل SoftMax).

  • cache (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند config.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv. يتضمن حالات مخفية محسوبة مسبقاً (المفاتيح والقيم في كتل الانتباه الذاتي، وخيارياً إذا كان config.is_encoder_decoder=True في كتل الانتباه المتقاطع) يمكن استخدامها (انظر مدخل cache) لتسريع فك الترميز التسلسلي.

  • hidden_states (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.FloatTensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size). حالات الخفاء (Hidden-states) لجذع نموذج اللغة عند إخراج كل طبقة بالإضافة إلى مخرجات التضمين الأولية الاختيارية.

  • attentions (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.FloatTensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length). أوزان الانتباه لنموذج اللغة الأساسي، بعد تطبيق softmax على الانتباه.

  • image_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصور: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صور.

  • video_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الفيديو: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي مقاطع فيديو.

  • audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصوت: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صوت.

  • router_logits (tuple[torch.Tensor]، اختياري، يُعاد عند تمرير output_router_logits=True أو عند تعيين config.add_router_probs=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, sequence_length, num_experts).

    قيمات التوجيه (Router logits) للنموذج، وهي مفيدة لحساب الخسارة المساعدة (auxiliary loss) لنماذج مزيج الخبراء (Mixture of Experts).

مثال:

>>> import torch
>>> from transformers import AutoTokenizer, Inkling2LoopForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopForCausalLM.from_pretrained(
...     "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )

>>> messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
>>> inputs = tokenizer.apply_chat_template(
...     messages,
...     tokenize=True,
...     add_generation_prompt=True,
...     return_dict=True,
...     return_tensors="pt",
... ).to(model.device)
>>> input_len = inputs["input_ids"].shape[-1]

>>> outputs = model.generate(**inputs, max_new_tokens=1024)
>>> print(tokenizer.decode(outputs[0][input_len:], skip_special_tokens=False))

Inkling2LoopModel

فئة transformers.Inkling2LoopModel

< >

( config: Inkling2LoopConfig )

المعاملات

  • config (Inkling2LoopConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Base Inkling2Loop الأساسي، والذي يتكون من هيكل بصري ونموذج لغوي دون رأس لنمذجة اللغة.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopModelOutputWithPast or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • pixel_values (torch.Tensor من الشكل (batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسل باستخدام image_processor_class. راجع image_processor_class.__call__ للتفاصيل (processor_class يستخدم image_processor_class لمعالجة الصور).
  • image_grid_thw (torch.LongTensor من الشكل (num_images, 3)، اختياري) — البُعد الزمني، والارتفاع، والعرض لكل صورة، محسوبةً بوحدات رموز الصور في نموذج اللغة.
  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].

    ما هي معرّفات المواقع؟

  • cache (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من cache الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.

    يُسمح فقط بمرجع Cache كمدخل، راجد دليل kv cache الخاص بنا. إذا لم يتم تمرير أي cache، فسيتم تهيئة DynamicCache افتراضيًا.

    سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

    إذا تم استخدام cache، يُتوقع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
  • use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات مفاتيح وقيم cache ويمكن استخدامها لتسريع فك الترميز (انظر cache).
  • mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], اختياري) — قاموس تكون مفاتيحه الأنماط المدعومة وقيمها المخرجات المُرمّزة لكل نمط. كل مخرَج مُرمَّز هو مجموعة (tuple) تتكون من (pooler_output، اختياري: last_hidden_states، اختياري: hidden_states، اختياري: attentions) pooler_output ذو الشكل (batch_size, sequence_length, hidden_size)، اختياري) هو تسلسل من الميزات متعددة الوسائط للمُشفِّر المُدمجة مع تضمينات النص.

يعيد

Inkling2LoopModelOutputWithPast أو tuple(torch.Tensor)

Inkling2LoopModelOutputWithPast أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة اعتمادًا على الإعداد (None) والمدخلات.

تتجاوز طريقة Inkling2LoopModel الأمامية (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • last_hidden_state (torch.FloatTensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من هيكل نموذج اللغة الأساسي. إذا تم استخدام cache، فسيتم إخراج حالة الإخفاء الأخيرة فقط للتسلسلات من الشكل (batch_size, 1, hidden_size).

  • cache (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند config.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv. يتضمن حالات مخفية محسوبة مسبقاً (المفاتيح والقيم في كتل الانتباه الذاتي، وخيارياً إذا كان config.is_encoder_decoder=True في كتل الانتباه المتقاطع) يمكن استخدامها (انظر مدخل cache) لتسريع فك الترميز التسلسلي.

  • hidden_states (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.FloatTensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size). حالات الخفاء (Hidden-states) لجذع نموذج اللغة عند إخراج كل طبقة بالإضافة إلى مخرجات التضمين الأولية الاختيارية.

  • attentions (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.FloatTensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length). أوزان الانتباه لنموذج اللغة الأساسي، بعد تطبيق softmax على الانتباه.

  • image_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصور: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صور.

  • video_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الفيديو: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي مقاطع فيديو.

  • audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصوت: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صوت.

  • router_logits (tuple[torch.Tensor]، اختياري، يُعاد عند تمرير output_router_logits=True أو عند تعيين config.add_router_probs=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, sequence_length, num_experts).

    قيمات التوجيه (Router logits) للنموذج، وهي مفيدة لحساب الخسارة المساعدة (auxiliary loss) لنماذج مزيج الخبراء (Mixture of Experts).

مثال:

>>> import torch
>>> from transformers import AutoProcessor, Inkling2LoopModel

>>> processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopModel.from_pretrained(
...     "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )

>>> messages = [
...     {
...         "role": "user",
...         "content": [
...             {
...                 "type": "image",
...                 "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
...             },
...             {"type": "text", "text": "What animal is in this image, and where is it?"},
...         ],
...     },
... ]

>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     add_generation_prompt=True,
...     return_dict=True,
...     return_tensors="pt",
... ).to(model.device)

>>> outputs = model(**inputs)
>>> last_hidden_state = outputs.last_hidden_state

Inkling2LoopForConditionalGeneration

فئة transformers.Inkling2LoopForConditionalGeneration

< >

( config: Inkling2LoopConfig )

المعاملات

  • config (Inkling2LoopConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Base Inkling2Loop الأساسي، والذي يتكون من هيكل بصري ونموذج لغوي دون رأس لنمذجة اللغة.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Inkling2LoopCausalLMOutputWithPast or tuple(torch.Tensor)

المعاملات

  • input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.

    يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

    ما هي معرّفات الإدخال؟

  • pixel_values (torch.Tensor من الشكل (batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسل باستخدام image_processor_class. راجع image_processor_class.__call__ للتفاصيل (processor_class يستخدم image_processor_class لمعالجة الصور).
  • image_grid_thw (torch.LongTensor من الشكل (num_images, 3)، اختياري) — البُعد الزمني، والارتفاع، والعرض لكل صورة، محسوبةً بوحدات رموز الصور في نموذج اللغة.
  • attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

    ما هي أقنعة الانتباه؟

  • position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].

    ما هي معرّفات المواقع؟

  • cache (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من cache الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.

    يُسمح فقط بمرجع Cache كمدخل، راجد دليل kv cache الخاص بنا. إذا لم يتم تمرير أي cache، فسيتم تهيئة DynamicCache افتراضيًا.

    سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

    إذا تم استخدام cache، يُتوقع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
  • labels (torch.LongTensor من الشكل (batch_size, sequence_length)، اختياري) — التسميات لحساب خسارة نمذجة اللغة المقنّعة. يجب أن تكون الفهارس ضمن [0, ..., config.vocab_size] أو -100 (انظر input_ids docstring). يتم تجاهل الرموز التي فهارسها مضبوطة على -100 (مقنّعة)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن [0, ..., config.vocab_size].
  • use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات مفاتيح وقيم cache ويمكن استخدامها لتسريع فك الترميز (انظر cache).
  • logits_to_keep (Union[int, torch.Tensor]، اختياري، القيمة الافتراضية 0) — إذا كان int، يتم حساب logits لآخر logits_to_keep رموز. إذا كانت القيمة 0، يتم حساب logits لجميع input_ids (حالة خاصة). لا يُحتاج إلى logits إلا للرمز الأخير في عملية التوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة كبيرة، وهو أمر مهم بشكل ملحوظ للتسلسلات الطويلة أو حجم المفردات الكبير. إذا كان torch.Tensor، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول التسلسل. يكون هذا مفيدًا عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول التسلسل).
  • mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], اختياري) — قاموس تكون مفاتيحه الأنماط المدعومة وقيمها المخرجات المُرمّزة لكل نمط. كل مخرَج مُرمَّز هو مجموعة (tuple) تتكون من (pooler_output، اختياري: last_hidden_states، اختياري: hidden_states، اختياري: attentions) pooler_output ذو الشكل (batch_size, sequence_length, hidden_size)، اختياري) هو تسلسل من الميزات متعددة الوسائط للمُشفِّر المُدمجة مع تضمينات النص.

يعيد

Inkling2LoopCausalLMOutputWithPast أو tuple(torch.Tensor)

Inkling2LoopCausalLMOutputWithPast أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

تتجاوز طريقة Inkling2LoopForConditionalGeneration الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • loss (torch.FloatTensor من الشكل (1,)، اختياري، يُعاد عند توفير labels) — خسارة نمذجة اللغة (لتوقع الرمز التالي).

  • logits (torch.FloatTensor من الشكل (batch_size, sequence_length, config.vocab_size)) — درجات التنبؤ لرأس نمذجة اللغة (درجات كل رمز في المفردات قبل SoftMax).

  • cache (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند config.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv. يتضمن حالات مخفية محسوبة مسبقاً (المفاتيح والقيم في كتل الانتباه الذاتي، وخيارياً إذا كان config.is_encoder_decoder=True في كتل الانتباه المتقاطع) يمكن استخدامها (انظر مدخل cache) لتسريع فك الترميز التسلسلي.

  • hidden_states (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.FloatTensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size). حالات الخفاء (Hidden-states) لجذع نموذج اللغة عند إخراج كل طبقة بالإضافة إلى مخرجات التضمين الأولية الاختيارية.

  • attentions (tuple(torch.FloatTensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.FloatTensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length). أوزان الانتباه لنموذج اللغة الأساسي، بعد تطبيق softmax على الانتباه.

  • image_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصور: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صور.

  • video_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الفيديو: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي مقاطع فيديو.

  • audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصوت: last_hidden_state، pooler_output، hidden_states وattentions. تكون None إذا لم تتم معالجة أي صوت.

  • router_logits (tuple[torch.Tensor]، اختياري، يُعاد عند تمرير output_router_logits=True أو عند تعيين config.add_router_probs=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, sequence_length, num_experts).

    قيمات التوجيه (Router logits) للنموذج، وهي مفيدة لحساب الخسارة المساعدة (auxiliary loss) لنماذج مزيج الخبراء (Mixture of Experts).

مثال:

>>> import torch
>>> from transformers import AutoProcessor, Inkling2LoopForConditionalGeneration

>>> processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling-2-Mini")
>>> model = Inkling2LoopForConditionalGeneration.from_pretrained(
...     "thinkingmachines/Inkling-2-Mini", dtype=torch.bfloat16, device_map="auto"
... )

>>> messages = [
...     {
...         "role": "user",
...         "content": [
...             {
...                 "type": "image",
...                 "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
...             },
...             {"type": "text", "text": "What animal is in this image, and where is it?"},
...         ],
...     },
... ]

>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     add_generation_prompt=True,
...     return_dict=True,
...     return_tensors="pt",
... ).to(model.device)
>>> input_len = inputs["input_ids"].shape[-1]

>>> outputs = model.generate(**inputs, max_new_tokens=1024)
>>> print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
Update on GitHub