Transformers documentation
OmniASR
نُشر هذا النموذج في أوراق HF في 12 نوفمبر 2025، وأُضيف إلى Hugging Face Transformers في 16 نوفمبر 2026.
OmniASR
نظرة عامة
OmniASR (Omnilingual ASR) هو مجموعة من نماذج التعرف على الكلام متعددة اللغات من Meta FAIR، تم تقديمها في Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages، وتغطي أكثر من 1600 لغة — بما في ذلك مئات اللغات التي لم يدعمها أي نظام ASR من قبل. يجمع كل نموذج بين مشفّر صوتي بنمط Wav2Vec2 (طبقات تجميعية تقلل عينة الموجة الصوتية ذات التردد 16 kHz بمقدار ~320× إلى معدل إطار 50 Hz، يتبعها مشفّر Transformer بنمط pre-norm) مع أحد رأسين:
- نسخة CTC (
OmniASRForCTC، انظر OmniASR CTC): إسقاط خطي واحد إلى المفردات، يُفكّ تشفيره بشكل غير ذاتي التراجع باستخدام CTC الجشع. - نموذج ALM (نموذج لغة صوتي) (
OmniASRForConditionalGeneration، هذه الصفحة): تُسقط التضمينات الصوتية خطياً إلى مُفكّك Llama الذي يولّد النص المكتوب بشكل ذاتي التراجع. يدعم هذا النموذج أيضاً شرط اللغة اختيارياً: عند تمرير رمز لغة مثل"eng_Latn"، يكتب المعالج رمز اللغة المطابق في سياق المُفكّك، مما يحسّن جودة النص المكتوب بشكل عام.
يمكن العثور على نقاط التفتيش في هذه المجموعة: أربع نقاط تفتيش ALM وأربع نقاط تفتيش CTC بأحجام مختلفة (300M، 1B، 3B، 7B). تم إصدار الأوزان الأصلية من قبل Meta، ويمكن العثور عليها في مستودع GitHub الخاص بهم.
تمت مساهمة هذا النموذج من قِبل Eric Bezzam.
الاستخدام
أبسط طريقة لتحويل الصوت إلى نص هي استخدام
apply_transcription_request، حيث يتولى تنسيق قالب المحادثة نيابةً عنك، فهو في الواقع غلاف ميسّر لـapply_chat_template(انظر قالب المحادثة أدناه).
نسخة بسيطة
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
)
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])تلميح اللغة
بدون لغة، يعمل النموذج في وضعه المستقل عن اللغة. عند تمرير رمز لغة (مثل "eng_Latn"، "fra_Latn"، "cmn_Hans")، يُكتب رمز اللغة المطابق في موجه المُفكِّك، مما يحسّن بشكل عام جودة النسخ. يتبع قائمة اللغات المدعومة وتسمية الأسماء الأصلية هنا.
بالنسبة لللغات التي لديها رمز، يتم قبول رموز ISO 639-1 الأكثر شيوعًا أيضًا (مثل "en"، "fr"، "zh").
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
audio = "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav"
# Without language hint (language-agnostic)
inputs = processor.apply_transcription_request(audio=audio).to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(f"Language-agnostic: {processor.decode(generated_ids, skip_special_tokens=True)[0]}")
# With language hint
inputs = processor.apply_transcription_request(audio=audio, language="zh").to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(f"Language hint: {processor.decode(generated_ids, skip_special_tokens=True)[0]}")الاستدلال الدُفعي
يمكن إجراء الاستدلال الدُفعي (Batch inference) عن طريق تمرير قائمة من المقاطع الصوتية، وإذا تم توفيرها، لغة واحدة لكل الدفعة أو قائمة من اللغات (لغة لكل مقطع صوتي، None للوضع غير المعتمد على اللغة).
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
audio = [
"https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
"https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav",
]
inputs = processor.apply_transcription_request(audio, language=["en", None])
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
for i, text in enumerate(processor.decode(generated_ids, skip_special_tokens=True)):
print(f"Audio {i + 1}: {text}")قالب المحادثة
يقبل النموذج أيضًا مدخلات قالب المحادثة. الاستخدام الآنف الذكر لـapply_transcription_request هو غلاف ميسّر لـapply_chat_template. يُعطى تلميح اللغة كعنصر {"type": "language", ...} ضمن دور المستخدم؛ وإهماله يختار الوضع غير المرتبط بلغة معينة.
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
conversations = [
[
{
"role": "user",
"content": [
{
"type": "audio",
"path": "https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
},
{"type": "language", "language": "en"},
],
},
],
[
{
"role": "user",
"content": [
{
"type": "audio",
"path": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav",
},
{"type": "language", "language": "zh"},
],
},
],
]
inputs = processor.apply_chat_template(
conversations, tokenize=True, add_generation_prompt=True, return_dict=True
)
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
for i, text in enumerate(processor.decode(generated_ids, skip_special_tokens=True)):
print(f"Audio {i + 1}: {text}")التدريب
يمكن تدريب OmniASR باستخدام الخسارة المُخرَجة من النموذج. ضع النص المستهدف في دور المساعد من قالب المحادثة ومرّر output_labels=True. يتم إخفاء مواضع الصوت والتعبئة تلقائيًا.
لاحظ أن OmniASR ينسخ النص بحروف صغيرة، لذا تم تحويل نصوص LibriSpeech (بحروف كبيرة) إلى حروف صغيرة أدناه.
from datasets import Audio, load_dataset
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
NUM_SAMPLES = 2
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
model.train()
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
conversation = [
[
{
"role": "user",
"content": [
{"type": "audio", "audio": sample["audio"]["array"]},
# any supported language code, or no `language` item to train the language-agnostic mode
{"type": "language", "language": "en"},
],
},
{"role": "assistant", "content": [{"type": "text", "text": sample["text"].lower()}]},
]
for sample in ds.select(range(NUM_SAMPLES))
]
inputs = processor.apply_chat_template(
conversation,
tokenize=True,
return_dict=True,
# only train on the assistant outputs: mask the labels outside the assistant turns
return_assistant_tokens_mask=True,
return_tensors="pt",
processor_kwargs={"output_labels": True},
).to(model.device, dtype=model.dtype)
inputs["labels"][inputs.pop("assistant_masks") == 0] = -100
loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()Torch compile
في حالة النسخ التلقائي (autoregressive transcription)، يُسرّع torch.compile عمليات المرور الأمامي لكل رمز داخل generate من خلال توفير كائن CompileConfig، والذي يتطلب ذاكرة تخزين مؤقتة ثابتة.
لاحظ أن StaticCache يُنشأ مرة واحدة ويُعاد استخدامه عبر استدعاءات generate لتجنب إعادة التجميع.
على معالج A100، لاحظنا تسريعًا بنسبة ~2.3 لحجم دفعة يساوي 4 (script).
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor, CompileConfig, StaticCache
model_id = "hf-audio/omniasr-llm-300m-v2"
NUM_SAMPLES = 4
num_warmup = 3
max_new_tokens = 256
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
audio_url = "https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav"
inputs = processor.apply_transcription_request(
audio=[audio_url] * NUM_SAMPLES,
language="en",
).to(model.device, dtype=model.dtype)
# Created once and reused across `generate` calls, to avoid recompiling at every call
static_cache = StaticCache(
config=model.config,
max_cache_len=inputs["input_ids"].shape[1] + max_new_tokens,
)
compile_config = CompileConfig()
# Warmup
with torch.inference_mode():
for _ in range(num_warmup):
static_cache.reset()
_ = model.generate(
**inputs, max_new_tokens=max_new_tokens, do_sample=False,
cache=static_cache, compile_config=compile_config,
)
torch.cuda.synchronize()
# Apply model
with torch.inference_mode():
static_cache.reset()
output_ids = model.generate(
**inputs, max_new_tokens=max_new_tokens, do_sample=False,
cache=static_cache, compile_config=compile_config,
)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])OmniASRAudioConfig
فئة transformers.OmniASRAudioConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512)conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2)conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2)conv_bias: bool = Truenum_attention_heads: int = 16num_hidden_layers: int = 24num_conv_pos_embeddings: int = 128num_conv_pos_embedding_groups: int = 16intermediate_size: int = 4096attention_dropout: float | int = 0.0hidden_dropout: float | int = 0.1layerdrop: float | int = 0.1activation_dropout: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05hidden_act: str = 'gelu' )
المعاملات
- hidden_size (
int، اختياري، القيمة الافتراضية1024) — أبعاد التمثيلات المخفية. - conv_dim (
tuple[int]أوlist[int]، اختياري، القيمة الافتراضية(512, 512, 512, 512, 512, 512, 512)) — مجموعة من الأعداد الصحيحة تحدد عدد قنوات الإدخال والإخراج لكل طبقة تلافيفية أحادية البعد في مشفّر الميزات. يحدد طول conv_dim عدد طبقات التلافيف أحادية البعد. - conv_kernel (
tuple[int]أوlist[int]، اختياري، القيمة الافتراضية(10, 3, 3, 3, 3, 2, 2)) — مجموعة من الأعداد الصحيحة تحدد حجم النواة لكل طبقة تجميعية أحادية البعد في مشفّر الميزات. طول conv_kernel يحدد عدد طبقات التجميع، ويجب أن يطابق طول conv_dim. - conv_stride (
tuple[int]أوlist[int]، اختياري، القيمة الافتراضية(5, 2, 2, 2, 2, 2, 2)) — مجموعة من الأعداد الصحيحة تُعرّف خطوة (stride) كل طبقة تلافيفية أحادية البعد في مُشفِّر الميزات. يحدد طول conv_stride عدد الطبقات التلافيفية، ويجب أن يطابق طول conv_dim. - conv_bias (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كانت طبقات الالتفاف أحادية البعد تحتوي على انحياز. - num_attention_heads (
int، اختياري، القيمة الافتراضية16) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer. - num_hidden_layers (
int، اختياري، القيمة الافتراضية24) — عدد الطبقات المخفية في مُفكِّك Transformer. - num_conv_pos_embeddings (
int, اختياري، القيمة الافتراضية 128) — عدد التضمينات الموضعية التلافيفية. يحدد حجم النواة لطبقة التضمينات الموضعية التلافيفية أحادية البعد. - num_conv_pos_embedding_groups (
int, اختياري، القيمة الافتراضية 16) — عدد مجموعات طبقة التضمينات الموضعية التلافيفية أحادية البعد. - intermediate_size (
int، اختياري، القيمة الافتراضية4096) — أبعاد تمثيلات MLP. - attention_dropout (
Union[float, int]، اختياري، القيمة الافتراضية0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه. - hidden_dropout (
Union[float, int]، اختياري، القيمة الافتراضية0.1) — احتمالية dropout لجميع الطبقات المتصلة بالكامل في التضمينات والمُشفِّر (encoder) والمُجمِّع (pooler). - layerdrop (
Union[float, int]، اختياري، القيمة الافتراضية0.1) — احتمالية LayerDrop. راجع [ورقة LayerDrop](انظر https://huggingface.co/papers/1909.11556) لمزيد من التفاصيل. - activation_dropout (
Union[float, int]، اختياري، القيمة الافتراضية0.1) — نسبة dropout للتفعيلات داخل الطبقة المتصلة بالكامل. - initializer_range (
float، اختياري، القيمة الافتراضية0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. - layer_norm_eps (
float, اختياري، القيمة الافتراضية1e-05) — قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة. - hidden_act (
str، اختياري، القيمة الافتراضيةgelu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال،"gelu"،"relu"،"silu"، وما إلى ذلك.
هذه فئة الإعدادات المخزنة لإعدادات نموذج OmniASRModel. تُستخدم لاستحداث نموذج Omniasr وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ hf-audio/omniasr-ctc-300m-v2
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.
مثال:
>>> from transformers import OmniASRAudioConfig, OmniASRAudioModel
>>> # Initializing an OmniASR encoder configuration
>>> configuration = OmniASRAudioConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = OmniASRAudioModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configOmniASRConfig
فئة transformers.OmniASRConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_token_id: int = 10289initializer_range: float = 0.02bos_token_id: int | None = 0pad_token_id: int | None = 1eos_token_id: int | None = 2 )
المعاملات
- audio_config (
Union[dict, ~configuration_utils.PreTrainedConfig], اختياري) — كائن الإعداد أو قاموس العمود الفقري الصوتي. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig]، اختياري) — كائن الإعدادات أو قاموس العمود الفقري النصي. - audio_token_id (
int، اختياري، القيمة الافتراضية10289) — مؤشر رمز الصوت المستخدم كعنصر نائب للصوت المُدخل. - initializer_range (
float، اختياري، القيمة الافتراضية0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. - bos_token_id (
int, اختياري، القيمة الافتراضية0) — معرّف الرمز المستخدم لبدء البث في المفردات. - pad_token_id (
int، اختياري، القيمة الافتراضية1) — معرّف الرمز المستخدم للتعبئة في المفردات. - eos_token_id (
int، اختياري، القيمة الافتراضية2) — معرّف الرمز المستخدم لنهاية التدفق في المفردات.
هذه فئة الإعدادات (configuration class) لتخزين إعدادات نموذج OmniASRModel. تُستخدم لاستحداث نموذج Omniasr وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ hf-audio/omniasr-llm-300m-v2
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.
مثال:
>>> from transformers import OmniASRForConditionalGeneration, OmniASRConfig
>>> # Initializing an OmniASR-LLM configuration
>>> configuration = OmniASRConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = OmniASRForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configOmniASRFeatureExtractor
فئة transformers.OmniASRFeatureExtractor
< source >( feature_size = 1sampling_rate = 16000padding_value = 0.0return_attention_mask = Truedo_normalize = True**kwargs )
المعاملات
- feature_size (
int، اختياري، القيمة الافتراضية 1) — أبعاد الميزة للميزات المستخرجة. - sampling_rate (
int, اختياري، القيمة الافتراضية 16000) — معدل أخذ العينات الذي يجب أن تُرقَم به ملفات الصوت، ويُعبَّر عنه بالهرتز (Hz). - padding_value (
float، اختياري، القيمة الافتراضية 0.0) — القيمة المستخدمة لملء قيم الحشو. - return_attention_mask (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان ينبغي لـ__call__()أن يعيدattention_mask. يحتاج OmniASR إلى القناع لمعرفة أي الإطارات هي حشو، لذا تُرمّز المدخلات المجمعة بشكل صحيح فقط عند إعادته. - do_normalize (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم تطبيع كل عينة صوتية إلى متوسط صفري وتباين وحدة. تُحسب الإحصاءات لكل عينة على حدة، عبر عيناتها غير المعبّأة، لتتوافق مع التنفيذ الأصلي.
ينشئ مستخرج ميزات OmniASR.
OmniASRProcessor
فئة transformers.OmniASRProcessor
< source >( feature_extractortokenizerchat_template = Noneaudio_token = '<extra_id_1>'conv_kernel = Noneconv_stride = None )
المعاملات
- feature_extractor (
OmniASRFeatureExtractor) — مستخرج الميزات هو مدخل مطلوب. - tokenizer (
TokenizersBackend) — المُجزِّئ (tokenizer) هو مدخل إلزامي. - chat_template (
str) — قالب Jinja لتحويل قوائم الرسائل في المحادثة إلى نص قابل للتجزئة. - audio_token (
str، اختياري، القيمة الافتراضية"<extra_id_1>") — رمز الوكيل الذي يمثل إطارًا واحدًا من مُشفِّر الكلام في الأمر، أي رمزOmniASRConfig.audio_token_id(). - conv_kernel (
list[int], اختياري) — حجم النواة لكل عملية تجميع في مُشفّر الميزات الخاص بمُشفّر الكلام، أيOmniASRAudioConfig.conv_kernel(). يُستخدم لحساب عدد الإطارات التي يُعاد أخذ عينات منها لإدخال الصوت، وبالتالي عدد محلات الصوت التي يحتويها الأمر. القيمة الافتراضية هي[10, 3, 3, 3, 3, 2, 2]. - conv_stride (
list[int], اختياري) — خطوة كل عملية تجميع في مُشفِّر الميزات الخاص بمُشفِّر الكلام، أيOmniASRAudioConfig.conv_stride(). القيمة الافتراضية هي[5, 2, 2, 2, 2, 2, 2].
ينشئ OmniASRProcessor الذي يغلّف مستخرج الميزات ومجزّئ الرموز في معالج واحد.
يوفر OmniASRProcessor جميع وظائف OmniASRFeatureExtractor وTokenizersBackend. راجع ~OmniASRFeatureExtractor و~TokenizersBackend لمزيد من المعلومات.
على غرار apply_chat_template()، لكنه يحل رموز اللغة للمحادثة أولاً.
تكتب قالب المحادثة رمز اللغة كما هو، لذا يلزم هذا التجاوز لقبول رموز ISO 639-1 (مثل "en" مقابل "eng_Latn")، ولإثارة خطأ عند وجود رموز غير مدعومة بدلاً من كتابة رمز مجهول بصمت.
apply_transcription_request
< source >( audio: typing.Union[str, list[str], numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]language: str | list[str] | None = Nonetokenize: bool = True**kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'> ) → BatchFeature or list[str]
المعاملات
- audio (
str،list[str]،np.ndarray،torch.Tensor،list[np.ndarray]،list[torch.Tensor]) — الصوت المراد تحويله إلى نص. تُفسَّر السلاسل النصية كمسارات محلية أو عناوين URL وسيتم تحميلها تلقائيًا بواسطة مُحمِّل قالب المحادثة؛ بينما تُمرَّر مصفوفات NumPy ومُتجهات PyTorch مباشرةً. - language (
strأوlist[str]، اختياري) — رموز اللغة (مثل"eng_Latn"أو["eng_Latn", "fra_Latn"])، إما رمز واحد للدفعة بأكملها أو رمز لكل تسجيل صوتي. تُقبل أيضًا رموز ISO 639-1 (مثل"en") لللغات التي تمتلك رمزًا منها. يحددNoneأو"auto"وضع النموذج غير المعتمد على اللغة؛ بينما يؤدي تحديد اللغة صراحةً إلى تحسين جودة النسخ. - tokenize (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم ترميز الأوامر (prompts) ومعالجة الصوت. إذا كانت القيمةFalse، فلن يتم تحميل الصوت وتُعاد الأوامر كنصوص مع بقاء محددات الصوت (audio placeholders) دون توسيع. عند تمريرها مع الصوت إلى المعالج،processor(text=prompts, audio=audio)، تُنتج نفس المخرجات كما لو كانتtokenize=True. - **kwargs —
حجج إضافية بالكلمات المفتاحية تُمرَّر إلى apply_chat_template().
يجب تمرير حجج المعالج (مثل
text_kwargs،audio_kwargs، …) على النحوprocessor_kwargs={...}.
يعيد
BatchFeature أو list[str]
موجّه واحد لكل ملف صوتي عند tokenize=False، وإلا فإن المعالج يُخرج مخرجات جاهزة للتقديم إلى OmniASRForConditionalGeneration.generate().
جهّز المدخلات للتعرف على الكلام دون كتابة قالب المحادثة يدويًا.
OmniASRAudioModel
فئة transformers.OmniASRAudioModel
< source >( config: OmniASRAudioConfig )
المعاملات
- config (OmniASRAudioConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
مشفر الكلام OmniASR، وهو مشفر من نمط Wav2Vec2.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( input_values: typing.Optional[torch.Tensor]padding_mask: typing.Optional[torch.Tensor] = Noneoutput_attention_mask: bool = True**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → OmniASREncoderModelOutput or tuple(torch.Tensor)
المعاملات
- input_values (
torch.Tensorمن الشكل(batch_size, sequence_length)، اختياري) — قيم عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على القيم عن طريق تحميل ملف صوتي من نوع.flacأو.wavفي مصفوفة من النوعlist[float]أوnumpy.ndarrayأوtorch.Tensor، على سبيل المثال عبر مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلىinput_values، يجب استخدام AutoProcessor للإضافة الحشوية (padding) والتحويل إلى متجه من النوعtorch.Tensor. راجعprocessor_class.__call__للتفاصيل. - padding_mask (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)) — قناع الحشو المستخدم لحشوinput_values. - output_attention_mask (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع قناع الانتباه المُخفَّض العينة. لا يكون فعالاً إلا عند توفيرpadding_mask.
يعيد
OmniASREncoderModelOutput أو tuple(torch.Tensor)
OmniASREncoderModelOutput أو مجموعة مرتبة من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (None) والمدخلات.
تتجاوز طريقة OmniASRAudioModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
last_hidden_state (
torch.Tensorمن الشكل(batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.pooler_output (
torch.Tensorمن الشكل(batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة للرمز الأول من التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. تُدرَّب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب.hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل(batch_size, sequence_length, hidden_size).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_attentions=Trueأو عند تعيينconfig.output_attentions=True) — مجموعة منtorch.Tensor(واحدة لكل طبقة) بأبعاد(batch_size, num_heads, sequence_length, sequence_length).أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
attention_mask (
torch.Tensorof shape(batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو بعد ضغط التسلسل. يُعاد لأن طول التسلسل قد يختلف عن طول التسلسل المدخل. قيم القناع المختارة في[0, 1]:- 1 للرموز التي لم تُقنَّع،
- 0 للرموز التي تم إخفاؤها.
OmniASRModel
فئة transformers.OmniASRModel
< source >( config: OmniASRConfig )
المعاملات
- config (OmniASRConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
نموذج OmniASR، الذي يتكون من مُشفِّر Wav2Vec2، ومُحوِّل متعدد الوسائط، ونموذج لغة LLama، دون رأس لنمذجة اللغة.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneinput_values: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → OmniASRBaseModelOutputWithPast or tuple(torch.Tensor)
المعاملات
- input_ids (
torch.LongTensorبشكل(batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.
- inputs_embeds (
torch.Tensorمن الشكل(batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمريرinput_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارسinput_idsإلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. - input_values (
torch.Tensorمن الشكل(batch_size, sequence_length)، اختياري) — قيم رقمية عشرية لموجة الصوت الخام المدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع.flacأو.wavفي مصفوفة من النوعlist[float]أوnumpy.ndarrayأوtorch.Tensor، على سبيل المثال باستخدام مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلىinput_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوعtorch.Tensor. راجعOmniASRProcessor.__call__()للتفاصيل. - padding_mask (
torch.Tensorمن الشكل(batch_size, num_samples)، اختياري) — قناع الحشو لإزالة الأجزاء المحشوة من الصوت.
يعيد
OmniASRBaseModelOutputWithPast أو tuple(torch.Tensor)
OmniASRBaseModelOutputWithPast أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على التهيئة (OmniASRConfig) والمدخلات.
تتجاوز طريقة OmniASRModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
last_hidden_state (
torch.Tensorمن الشكل(batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.إذا تم استخدام
cache، فإن الحالة المخفية الأخيرة فقط لتسلسلات الشكل(batch_size, 1, hidden_size)هي التي تُخرج.cache (
Cache، اختياري، يُعاد عند تمريرuse_cache=Trueأو عندconfig.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv.تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان
config.is_encoder_decoder=True) يمكن استخدامها (انظر مدخلcache) لتسريع فك الترميز التسلسلي.hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل(batch_size, sequence_length, hidden_size).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_attentions=Trueأو عند تعيينconfig.output_attentions=True) — مجموعة منtorch.Tensor(واحدة لكل طبقة) بأبعاد(batch_size, num_heads, sequence_length, sequence_length).أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
audio_features (
torch.Tensorمن الشكل(num_audio_frames, hidden_size)، اختياري) — إطارات مخرجات المُشفِّر، قبل المُسقط متعدد الوسائط، للإطارات الصوتية غير المُكمَّلة.
OmniASRForConditionalGeneration
فئة transformers.OmniASRForConditionalGeneration
< source >( config: OmniASRConfig )
المعاملات
- config (OmniASRConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
نموذج OmniASR، الذي يتكون من مُشفِّر Wav2Vec2، ومُحوِّل متعدد الوسائط، ونموذج لغة LLama.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinput_values: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.Tensor)
المعاملات
- input_ids (
torch.LongTensorبشكل(batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.
- input_values (
torch.Tensorمن الشكل(batch_size, 1, num_samples)، اختياري) — قيم عشرية لموجة الصوت الخام، موزعة على مواضع الصوت فيinput_ids. راجع OmniASRModel.forward(). - padding_mask (
torch.Tensorمن الشكل(batch_size, num_samples)، اختياري) — قناع لتجنب تشغيل مُشفِّر الكلام على عينات الحشو الخاصة بـinput_values، حيث تكون القيمة 1 للعينات التي ليست حشوًا. يختلف عنattention_maskالذي يغطي تسلسل المُفكِّك. - attention_mask (
torch.Tensorبشكل(batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي[0, 1]:- 1 للرموز التي لم تُقنَّع،
- 0 للرموز التي تم إخفاؤها.
- position_ids (
torch.LongTensorبشكل(batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً منcacheالذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندماuse_cache=Trueأوconfig.use_cache=True.يُسمح فقط بمرجع Cache كمدخل، راجد دليل kv cache الخاص بنا. إذا لم يتم تمرير أي
cache، فسيتم تهيئة DynamicCache افتراضيًا.سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.
إذا تم استخدام
cache، يُتوقع من المستخدم إدخالinput_idsغير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد(batch_size, unprocessed_length)بدلاً من جميعinput_idsبأبعاد(batch_size, sequence_length). - inputs_embeds (
torch.FloatTensorمن الشكل(batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمريرinput_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارسinput_idsإلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث التضمينية الداخلية للنموذج. - labels (
torch.LongTensorمن الشكل(batch_size, sequence_length)، اختياري) — التسميات لحساب خسارة نمذجة اللغة السببية. يتم إزاحتها داخليًا، لذا يجب أن تكون متوافقة مع تسلسل المُفكِّك — أي بنفس طولinput_ids/inputs_embeds، مع وضع-100في المواقع التي يجب ألا تساهم في الخسارة (سياق الصوت، والتعبئة). - use_cache (
bool، اختياري) — إذا تم تعيينه إلىTrue، تُعاد حالات مفاتيح وقيمcacheويمكن استخدامها لتسريع فك الترميز (انظرcache). - logits_to_keep (
Union[int, torch.Tensor]، اختياري، القيمة الافتراضية0) — إذا كانint، يتم حساب logits لآخرlogits_to_keepرموز. إذا كانت القيمة0، يتم حساب logits لجميعinput_ids(حالة خاصة). لا يُحتاج إلى logits إلا للرمز الأخير في عملية التوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة كبيرة، وهو أمر مهم بشكل ملحوظ للتسلسلات الطويلة أو حجم المفردات الكبير. إذا كانtorch.Tensor، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول التسلسل. يكون هذا مفيدًا عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول التسلسل).
يعيد
CausalLMOutputWithPast أو tuple(torch.Tensor)
CausalLMOutputWithPast أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (OmniASRConfig) والمدخلات.
تتجاوز طريقة OmniASRForConditionalGeneration الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
loss (
torch.Tensorof shape(1,), اختياري, يُعاد عند توفيرlabels) — خسارة نمذجة اللغة (لتوقع الرمز التالي).logits (
torch.Tensorمن الشكل(batch_size, sequence_length, config.vocab_size)) — درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax).cache (
Cache، اختياري، يُعاد عند تمريرuse_cache=Trueأو عندconfig.use_cache=True) — إنه كائن من Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv.تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي) يمكن استخدامها (انظر مدخل
cache) لتسريع فك الترميز التسلسلي.hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل(batch_size, sequence_length, hidden_size).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_attentions=Trueأو عند تعيينconfig.output_attentions=True) — مجموعة منtorch.Tensor(واحدة لكل طبقة) بأبعاد(batch_size, num_heads, sequence_length, sequence_length).أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
مثال:
>>> from transformers import AutoProcessor, OmniASRForConditionalGeneration
>>> from datasets import load_dataset, Audio
>>> model_id = "hf-audio/omniasr-llm-300m-v2"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = OmniASRForConditionalGeneration.from_pretrained(model_id)
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
>>> inputs = processor.apply_transcription_request(ds[0]["audio"]["array"], language="eng_Latn")
>>> generated_ids = model.generate(**inputs, max_new_tokens=256)
>>> transcription = processor.decode(generated_ids, skip_special_tokens=True)