Transformers documentation
OmniASR
이 모델은 2025-11-12에 HF papers에 게시되었으며, 2026-11-16에 Hugging Face Transformers에 기여되었습니다.
OmniASR
개요
OmniASR(Omnilingual ASR)는 Meta FAIR에서 Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages를 통해 소개한 다국어 음성 인식 모델 모음으로, 1,600개 이상의 언어를 지원합니다. 이는 기존 어떤 ASR 시스템에서도 지원되지 않았던 수백 개의 언어를 포함합니다. 각 모델은 Wav2Vec2 스타일의 오디오 인코더(16 kHz 웨이브폼을 50 Hz 프레임 레이트로 약 320배 다운샘플링하는 합성곱 레이어와 pre-norm Transformer 인코더로 구성)와 두 가지 헤드 중 하나를 결합합니다:
- CTC 변형 (
OmniASRForCTC, OmniASR CTC 참고): 어휘로 단일 선형 투영을 수행하고, 그리디 CTC로 비자기회적으로 디코딩합니다. - ALM(오디오 언어 모델) 변형(
OmniASRForConditionalGeneration, 이 페이지): 오디오 임베딩이 Llama 디코더로 선형 투영되어 전사문이 자기회귀적으로 생성됩니다. 이 변형은 선택적인 언어 조건부 지정도 지원합니다."eng_Latn"과 같은 언어 코드를 전달하면 프로세서가 디코더 컨텍스트에 해당 언어 토큰을 기록하여 일반적으로 전사 품질을 향상시킵니다.
체크포인트는 이 컬렉션에서 찾을 수 있습니다: 다양한 크기(300M, 1B, 3B, 7B)의 4x ALM 및 4x CTC 체크포인트입니다. 원래 가중치는 Meta에서 공개했으며, GitHub 저장소에서 찾을 수 있습니다.
이 모델은 Eric Bezzam이 기여했습니다.
사용
음성을 전사하는 가장 간단한 방법은
apply_transcription_request를 사용하는 것입니다. 이 함수는 채팅 템플릿 포맷팅을 처리해 주며,apply_chat_template의 편의 래퍼입니다(아래 채팅 템플릿 참고).
간단한 전사
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
)
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])언어 힌트
언어를 지정하지 않으면 모델은 언어 비의존(language-agnostic) 모드로 실행됩니다. 언어 코드(예: "eng_Latn", "fra_Latn", "cmn_Hans")를 전달하면 디코더 프롬프트에 해당 언어 토큰이 기록되며, 일반적으로 전사 품질이 향상됩니다. 지원되는 언어 목록과 명명 규칙은 원래 여기를 따릅니다.
해당 언어에 ISO 639-1 코드가 있는 경우, 더 일반적인 ISO 639-1 코드(예: "en", "fr", "zh")도 허용됩니다.
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
audio = "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav"
# Without language hint (language-agnostic)
inputs = processor.apply_transcription_request(audio=audio).to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(f"Language-agnostic: {processor.decode(generated_ids, skip_special_tokens=True)[0]}")
# With language hint
inputs = processor.apply_transcription_request(audio=audio, language="zh").to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(f"Language hint: {processor.decode(generated_ids, skip_special_tokens=True)[0]}")배치 추론
None을 언어 무관 모드로 사용할 수 있으며, 오디오 목록과 (제공된 경우) 배치 전체에 대한 단일 언어 또는 언어 목록(오디오당 하나)을 전달하여 배치 추론이 가능합니다.
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
audio = [
"https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
"https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav",
]
inputs = processor.apply_transcription_request(audio, language=["en", None])
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
for i, text in enumerate(processor.decode(generated_ids, skip_special_tokens=True)):
print(f"Audio {i + 1}: {text}")채팅 템플릿
모델은 채팅 템플릿 입력도 지원합니다. 위의 apply_transcription_request 사용법은 apply_chat_template의 편의 래퍼입니다. 언어 힌트는 사용자 턴의 {"type": "language", ...} 항목으로 제공되며, 이를 생략하면 언어 비의존 모드가 선택됩니다.
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
conversations = [
[
{
"role": "user",
"content": [
{
"type": "audio",
"path": "https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav",
},
{"type": "language", "language": "en"},
],
},
],
[
{
"role": "user",
"content": [
{
"type": "audio",
"path": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mandarin_voxcpm_zh.wav",
},
{"type": "language", "language": "zh"},
],
},
],
]
inputs = processor.apply_chat_template(
conversations, tokenize=True, add_generation_prompt=True, return_dict=True
)
inputs.to(model.device, dtype=model.dtype)
output_ids = model.generate(**inputs, max_new_tokens=256)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
for i, text in enumerate(processor.decode(generated_ids, skip_special_tokens=True)):
print(f"Audio {i + 1}: {text}")학습
OmniASR은 모델이 출력하는 손실로 학습할 수 있습니다. chat template의 assistant 턴에 대상 전사문을 넣고 output_labels=True를 전달하세요. 오디오 및 패딩 위치는 자동으로 마스킹됩니다.
OmniASR은 소문자로 전사하므로, (대문자인) LibriSpeech 전사 결과는 아래에서 소문자로 변환되었습니다.
from datasets import Audio, load_dataset
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "hf-audio/omniasr-llm-300m-v2"
NUM_SAMPLES = 2
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
model.train()
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
conversation = [
[
{
"role": "user",
"content": [
{"type": "audio", "audio": sample["audio"]["array"]},
# any supported language code, or no `language` item to train the language-agnostic mode
{"type": "language", "language": "en"},
],
},
{"role": "assistant", "content": [{"type": "text", "text": sample["text"].lower()}]},
]
for sample in ds.select(range(NUM_SAMPLES))
]
inputs = processor.apply_chat_template(
conversation,
tokenize=True,
return_dict=True,
# only train on the assistant outputs: mask the labels outside the assistant turns
return_assistant_tokens_mask=True,
return_tensors="pt",
processor_kwargs={"output_labels": True},
).to(model.device, dtype=model.dtype)
inputs["labels"][inputs.pop("assistant_masks") == 0] = -100
loss = model(**inputs).loss
print("Loss:", loss.item())
loss.backward()Torch compile
자동 회귀 전사의 경우, torch.compile은 generate 내부의 토큰별 forward pass를 가속화하며, 이를 위해 정적 캐시를 요구하는 CompileConfig 객체를 제공합니다.
StaticCache는 재컴파일을 피하기 위해 한 번만 생성되어 generate 호출 간에 재사용됩니다.
A100에서 배치 크기가 4일 때 약 2.3배의 속도 향상을 관찰했습니다(스크립트).
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor, CompileConfig, StaticCache
model_id = "hf-audio/omniasr-llm-300m-v2"
NUM_SAMPLES = 4
num_warmup = 3
max_new_tokens = 256
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
audio_url = "https://huggingface.co/datasets/bezzam/audio_samples/resolve/main/librispeech_mr_quilter.wav"
inputs = processor.apply_transcription_request(
audio=[audio_url] * NUM_SAMPLES,
language="en",
).to(model.device, dtype=model.dtype)
# Created once and reused across `generate` calls, to avoid recompiling at every call
static_cache = StaticCache(
config=model.config,
max_cache_len=inputs["input_ids"].shape[1] + max_new_tokens,
)
compile_config = CompileConfig()
# Warmup
with torch.inference_mode():
for _ in range(num_warmup):
static_cache.reset()
_ = model.generate(
**inputs, max_new_tokens=max_new_tokens, do_sample=False,
cache=static_cache, compile_config=compile_config,
)
torch.cuda.synchronize()
# Apply model
with torch.inference_mode():
static_cache.reset()
output_ids = model.generate(
**inputs, max_new_tokens=max_new_tokens, do_sample=False,
cache=static_cache, compile_config=compile_config,
)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.decode(generated_ids, skip_special_tokens=True)[0])OmniASRAudioConfig
클래스 transformers.OmniASRAudioConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512)conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2)conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2)conv_bias: bool = Truenum_attention_heads: int = 16num_hidden_layers: int = 24num_conv_pos_embeddings: int = 128num_conv_pos_embedding_groups: int = 16intermediate_size: int = 4096attention_dropout: float | int = 0.0hidden_dropout: float | int = 0.1layerdrop: float | int = 0.1activation_dropout: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05hidden_act: str = 'gelu' )
매개변수
- hidden_size (
int, 선택 사항, 기본값1024) — 숨겨진 표현의 차원입니다. - conv_dim (
tuple[int]또는list[int], 선택 사항, 기본값(512, 512, 512, 512, 512, 512, 512)) — feature encoder의 각 1D convolutional layer의 입력 및 출력 채널 수를 정의하는 정수 튜플입니다. conv_dim의 길이는 1D convolutional layer의 개수를 정의합니다. - conv_kernel (
tuple[int]또는list[int], 선택 사항, 기본값(10, 3, 3, 3, 3, 2, 2)) — 피처 인코더의 각 1D 컨볼루션 레이어의 커널 크기를 정의하는 정수 튜플입니다. conv_kernel의 길이는 컨볼루션 레이어의 수를 정의하며, conv_dim의 길이와 일치해야 합니다. - conv_stride (
tuple[int]또는list[int], 선택 사항, 기본값(5, 2, 2, 2, 2, 2, 2)) — 피처 인코더의 각 1D 컨볼루션 레이어의 스트라이드를 정의하는 정수 튜플입니다. conv_stride의 길이는 컨볼루션 레이어의 수를 정의하며, conv_dim의 길이와 일치해야 합니다. - conv_bias (
bool, 선택 사항, 기본값True) — 1D 합성곱 계층에 bias가 있는지 여부. - num_attention_heads (
int, 선택 사항, 기본값16) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다. - num_hidden_layers (
int, 선택 사항, 기본값24) — Transformer decoder의 숨겨진 레이어 수. - num_conv_pos_embeddings (
int, 선택 사항, 기본값 128) — 컨볼루션 위치 임베딩의 수. 1D 컨볼루션 위치 임베딩 레이어의 커널 크기를 정의합니다. - num_conv_pos_embedding_groups (
int, 선택 사항, 기본값 16) — 1D 컨볼루션 위치 임베딩 레이어의 그룹 수. - intermediate_size (
int, 선택 사항, 기본값4096) — MLP 표현의 차원입니다. - attention_dropout (
Union[float, int], 선택 사항, 기본값0.0) — Attention 확률에 적용할 dropout 비율입니다. - hidden_dropout (
Union[float, int], 선택 사항, 기본값0.1) — 임베딩, 인코더, 풀러의 모든 완전 연결 계층에 적용되는 dropout 확률입니다. - layerdrop (
Union[float, int], 선택 사항, 기본값0.1) — LayerDrop 확률입니다. 자세한 내용은 [LayerDrop 논문](https://huggingface.co/papers/1909.11556 참조)을 참고하세요. - activation_dropout (
Union[float, int], 선택 사항, 기본값0.1) — 완전 연결 레이어 내부 활성화에 적용할 dropout 비율입니다. - initializer_range (
float, 선택 사항, 기본값0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. - layer_norm_eps (
float, 선택 사항, 기본값1e-05) — 레이어 정규화 레이어에서 사용되는 epsilon 값입니다. - hidden_act (
str, 선택 사항, 기본값gelu) — 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어,"gelu","relu","silu"등이 있습니다.
OmniASRModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Omniasr 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 인스턴스화하면 hf-audio/omniasr-ctc-300m-v2와 유사한 설정이 생성됩니다.
Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.
예:
>>> from transformers import OmniASRAudioConfig, OmniASRAudioModel
>>> # Initializing an OmniASR encoder configuration
>>> configuration = OmniASRAudioConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = OmniASRAudioModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configOmniASRConfig
클래스 transformers.OmniASRConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_token_id: int = 10289initializer_range: float = 0.02bos_token_id: int | None = 0pad_token_id: int | None = 1eos_token_id: int | None = 2 )
매개변수
- audio_config (
Union[dict, ~configuration_utils.PreTrainedConfig], 선택) — 오디오 백본의 config 객체 또는 사전입니다. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], 선택) — 텍스트 백본의 config 객체 또는 사전입니다. - audio_token_id (
int, 선택 사항, 기본값10289) — 입력 오디오의 플레이스홀더로 사용되는 오디오 토큰 인덱스입니다. - initializer_range (
float, 선택 사항, 기본값0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. - bos_token_id (
int, 선택 사항, 기본값0) — 어휘에서 스트림 시작에 사용되는 토큰 id입니다. - pad_token_id (
int, 선택 사항, 기본값1) — 어휘에서 패딩에 사용되는 토큰 ID입니다. - eos_token_id (
int, 선택 사항, 기본값2) — 어휘에서 스트림 종료에 사용되는 토큰 id입니다.
OmniASRModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Omniasr 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 인스턴스화하면 hf-audio/omniasr-llm-300m-v2와 유사한 설정이 생성됩니다.
Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.
예:
>>> from transformers import OmniASRForConditionalGeneration, OmniASRConfig
>>> # Initializing an OmniASR-LLM configuration
>>> configuration = OmniASRConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = OmniASRForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configOmniASRFeatureExtractor
클래스 transformers.OmniASRFeatureExtractor
< source >( feature_size = 1sampling_rate = 16000padding_value = 0.0return_attention_mask = Truedo_normalize = True**kwargs )
매개변수
- feature_size (
int, 선택 사항, 기본값 1) — 추출된 특징의 차원입니다. - sampling_rate (
int, 선택 사항, 기본값 16000) — 오디오 파일을 디지털화할 때 사용할 샘플링 주파수(Hz). - padding_value (
float, 선택 사항, 기본값 0.0) — 패딩 값으로 채우는 데 사용되는 값입니다. - return_attention_mask (
bool, 선택 사항, 기본값True) —__call__()에서attention_mask를 반환할지 여부입니다. OmniASR은 패딩 프레임이 어디인지 파악하기 위해 이 마스크가 필요하므로, 배치 입력이 올바르게 인코딩되려면 반드시 반환되어야 합니다. - do_normalize (
bool, 선택 사항, 기본값True) — 각 오디오 샘플을 평균 0, 분산 1로 정규화할지 여부. 통계량은 원래 구현과 일치하도록 패딩되지 않은 샘플에 대해 샘플별로 계산됩니다.
OmniASR 기능 추출기를 생성합니다.
OmniASRProcessor
class transformers.OmniASRProcessor
< source >( feature_extractortokenizerchat_template = Noneaudio_token = '<extra_id_1>'conv_kernel = Noneconv_stride = None )
매개변수
- feature_extractor (
OmniASRFeatureExtractor) — 피처 추출기는 필수 입력입니다. - tokenizer (
TokenizersBackend) — 토크나이저는 필수 입력값입니다. - chat_template (
str) — 채팅의 메시지 목록을 토큰화 가능한 문자열로 변환하는 Jinja 템플릿입니다. - audio_token (
str, 선택 사항, 기본값"<extra_id_1>") — 프롬프트에서 음성 인코더 프레임 하나를 나타내는 플레이스홀더 토큰, 즉OmniASRConfig.audio_token_id()의 토큰입니다. - conv_kernel (
list[int], 선택 사항) — 음성 인코더의 특징 인코더에서 각 컨볼루션의 커널 크기, 즉OmniASRAudioConfig.conv_kernel()입니다. 오디오 입력이 서브샘플링되는 프레임 수를 계산하고, 따라서 프롬프트에 포함된 오디오 플레이스홀더의 수를 파악하는 데 필요합니다. 기본값은[10, 3, 3, 3, 3, 2, 2]입니다. - conv_stride (
list[int], 선택 사항) — 음성 인코더의 특징 인코더에서 각 컨볼루션의 스트라이드, 즉OmniASRAudioConfig.conv_stride()입니다. 기본값은[5, 2, 2, 2, 2, 2, 2]입니다.
OmniASRProcessor를 생성하며, feature extractor와 tokenizer를 단일 프로세서로 래핑합니다.
OmniASRProcessor는 OmniASRFeatureExtractor와 TokenizersBackend의 모든 기능을 제공합니다. 자세한 내용은 ~OmniASRFeatureExtractor와 ~TokenizersBackend를 참고하세요.
apply_chat_template()와 동일하지만, 먼저 대화의 언어 코드를 해석합니다.
채팅 템플릿은 언어 토큰을 그대로 기록하므로, ISO 639-1 코드(예: "eng_Latn"에 대한 "en")를 수용하고, 지원되지 않는 코드가 있을 경우 알 수 없는 토큰을 조용히 기록하는 대신 예외를 발생시키기 위해 이 오버라이드가 필요합니다.
apply_transcription_request
< source >( audio: typing.Union[str, list[str], numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]language: str | list[str] | None = Nonetokenize: bool = True**kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'> ) → BatchFeature or list[str]
매개변수
- audio (
str,list[str],np.ndarray,torch.Tensor,list[np.ndarray],list[torch.Tensor]) — 전사할 오디오입니다. 문자열은 로컬 경로 또는 URL로 해석되며 chat template loader에 의해 자동으로 로드됩니다. NumPy 배열과 PyTorch 텐서는 그대로 전달됩니다. - language (
str또는list[str], 선택 사항) — 언어 코드(예:"eng_Latn"또는["eng_Latn", "fra_Latn"])입니다. 배치 전체에 하나를 적용하거나 오디오별로 하나씩 지정할 수 있습니다. 해당 언어에 ISO 639-1 코드가 있는 경우(예:"en") 이 코드도 사용할 수 있습니다.None또는"auto"를 지정하면 모델의 언어 비의존 모드가 선택됩니다. 언어를 명시적으로 지정하면 전사 품질이 더 좋아집니다. - tokenize (
bool, 선택 사항, 기본값True) — 프롬프트를 토큰화하고 오디오를 처리할지 여부입니다.False인 경우 오디오가 로드되지 않고, 오디오 플레이스홀더가 확장되지 않은 문자열로 프롬프트가 반환됩니다. 이 프롬프트를 오디오와 함께 프로세서에 전달하면processor(text=prompts, audio=audio),tokenize=True일 때와 동일한 출력을 얻습니다. - **kwargs —
apply_chat_template()로 전달되는 추가 키워드 인자.
Processor 인자(예:
text_kwargs,audio_kwargs, …)는processor_kwargs={...}로 전달해야 합니다.
반환값
BatchFeature 또는 list[str]
tokenize=False인 경우 오디오당 프롬프트가 하나씩 생성되며, 그렇지 않으면 OmniASRForConditionalGeneration.generate()에 바로 전달할 수 있는 형태로 프로세서가 출력을 반환합니다.
수동으로 채팅 템플릿을 작성하지 않고 음성 인식용 입력을 준비합니다.
OmniASRAudioModel
class transformers.OmniASRAudioModel
< source >( config: OmniASRAudioConfig )
매개변수
- config (OmniASRAudioConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
Wav2Vec2 스타일의 인코더인 OmniASR 음성 인코더
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( input_values: typing.Optional[torch.Tensor]padding_mask: typing.Optional[torch.Tensor] = Noneoutput_attention_mask: bool = True**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → OmniASREncoderModelOutput or tuple(torch.Tensor)
매개변수
- input_values (
torch.Tensor, shape(batch_size, sequence_length), 선택 사항) — 입력 원시 음성 웨이브폼의 부동 소수점 값..flac또는.wav오디오 파일을list[float],numpy.ndarray또는torch.Tensor타입의 배열로 로드하여 값을 얻을 수 있습니다. 예를 들어 torchcodec 라이브러리(pip install torchcodec) 또는 soundfile 라이브러리(pip install soundfile)를 사용할 수 있습니다.input_values배열을 준비하려면 패딩 및torch.Tensor타입의 텐서 변환을 위해 AutoProcessor를 사용해야 합니다. 자세한 내용은processor_class.__call__를 참조하세요. - padding_mask (
torch.Tensor, shape(batch_size, 1, sequence_length)) —input_values에 패딩을 적용하는 데 사용되는 패딩 마스크입니다. - output_attention_mask (
bool, 선택 사항, 기본값True) — 하위 샘플링된 어텐션 마스크를 반환할지 여부입니다.padding_mask가 제공된 경우에만 적용됩니다.
반환값
OmniASREncoderModelOutput 또는 tuple(torch.Tensor)
OmniASREncoderModelOutput 또는 torch.Tensor의 튜플(return_dict=False가 전달되거나 config.return_dict=False인 경우)로, 구성(None)과 입력에 따라 다양한 요소를 포함합니다.
OmniASRAudioModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
last_hidden_state (
torch.Tensor, shape(batch_size, sequence_length, hidden_size)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.pooler_output (
torch.Tensor, shape(batch_size, hidden_size)) — 보조 사전 학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 후의 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전 학습 동안 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (
tuple(torch.Tensor), 선택 사항,output_attentions=True가 전달되었거나config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된torch.Tensor의 튜플로, 모양은(batch_size, num_heads, sequence_length, sequence_length)입니다.self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.
attention_mask (
torch.Tensor, shape(batch_size, sequence_length), 선택 사항) — 시퀀스 압축 후 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 하는 마스크입니다. 반환되는 이유는 시퀀스 길이가 입력 시퀀스 길이와 다를 수 있기 때문입니다.[0, 1]범위에서 선택된 마스크 값:- 마스크되지 않은 토큰에 대해 1
- 마스크된 토큰에 대해 0
OmniASRModel
class transformers.OmniASRModel
< source >( config: OmniASRConfig )
매개변수
- config (OmniASRConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
Wav2Vec2 인코더, 멀티모달 프로젝터, LLama 언어 모델로 구성되며 언어 모델링 헤드가 없는 OmniASR 모델
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneinput_values: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → OmniASRBaseModelOutputWithPast or tuple(torch.Tensor)
매개변수
- input_ids (
torch.LongTensor형상이(batch_size, sequence_length), 선택 사항) — 어휘(input vocabulary)에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다.AutoTokenizer를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 PreTrainedTokenizer.encode() 및 PreTrainedTokenizer.call()를 참조하세요.
- inputs_embeds (
torch.Tensor, shape(batch_size, sequence_length, hidden_size), 선택) —input_ids를 전달하는 대신 임베딩 표현을 직접 전달할 수 있습니다. 이는 모델 내부의 임베딩 조회 행렬보다input_ids인덱스를 관련 벡터로 변환하는 방식에 대해 더 세밀한 제어가 필요한 경우에 유용합니다. - input_values (
torch.Tensor, shape(batch_size, sequence_length), 선택 사항) — 입력 원시 음성 웨이브폼의 부동 소수점 값입니다..flac또는.wav오디오 파일을list[float],numpy.ndarray또는torch.Tensor타입의 배열로 로드하여 값을 얻을 수 있으며, 예를 들어 torchcodec 라이브러리(pip install torchcodec)나 soundfile 라이브러리(pip install soundfile)를 사용할 수 있습니다.input_values배열을 준비하려면 패딩 및torch.Tensor타입의 텐서 변환을 위해 AutoProcessor를 사용해야 합니다. 자세한 내용은OmniASRProcessor.__call__()를 참조하세요. - padding_mask (
torch.Tensor, shape(batch_size, num_samples), 선택 사항) — 오디오의 패딩된 부분을 제거하기 위한 패딩 마스크입니다.
반환값
OmniASRBaseModelOutputWithPast 또는 tuple(torch.Tensor)
OmniASRBaseModelOutputWithPast 또는 torch.Tensor의 튜플(return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(OmniASRConfig)과 입력에 따라 다양한 요소를 포함합니다.
OmniASRModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
last_hidden_state (
torch.Tensor, shape(batch_size, sequence_length, hidden_size)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.cache가 사용되면(batch_size, 1, hidden_size)모양의 시퀀스의 마지막 hidden-state만 출력됩니다.cache (
Cache, 선택 사항,use_cache=True가 전달되거나config.use_cache=True인 경우 반환됨) — Cache 인스턴스입니다. 자세한 내용은 kv cache 가이드를 참고하세요.순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프-어텐션 블록의 key와 value, 그리고
config.is_encoder_decoder=True인 경우 크로스-어텐션 블록의 key와 value)를 포함합니다(사용 방법은cache입력을 참조).hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (
tuple(torch.Tensor), 선택 사항,output_attentions=True가 전달되었거나config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된torch.Tensor의 튜플로, 모양은(batch_size, num_heads, sequence_length, sequence_length)입니다.self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.
audio_features (
torch.Tensor, shape(num_audio_frames, hidden_size), 선택 사항) — 패딩되지 않은 오디오 프레임에 대해, 멀티모달 프로젝터 적용 전의 인코더 출력 프레임입니다.
OmniASRForConditionalGeneration
클래스 transformers.OmniASRForConditionalGeneration
< source >( config: OmniASRConfig )
매개변수
- config (OmniASRConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
Wav2Vec2 인코더, 멀티모달 프로젝터, LLama 언어 모델로 구성된 OmniASR 모델입니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinput_values: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecache: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.Tensor)
매개변수
- input_ids (
torch.LongTensor형상이(batch_size, sequence_length), 선택 사항) — 어휘(input vocabulary)에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다.AutoTokenizer를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 PreTrainedTokenizer.encode() 및 PreTrainedTokenizer.call()를 참조하세요.
- input_values (
torch.Tensor, shape(batch_size, 1, num_samples), 선택 사항) —input_ids의 오디오 플레이스홀더에 분산된 원시 오디오 웨이브폼의 부동소수점 값입니다. OmniASRModel.forward()를 참조하세요. - padding_mask (
torch.Tensor, shape(batch_size, num_samples), 선택 사항) —input_values의 패딩 샘플에 대해 음성 인코더를 실행하지 않도록 하는 마스크로, 패딩이 아닌 샘플은 1입니다. 디코더 시퀀스를 다루는attention_mask와 구별됩니다. - attention_mask (
torch.Tensor형상이(batch_size, sequence_length), 선택 사항) — 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크. [0, 1]에서 선택된 마스크 값: 마스크되지 않은 토큰은 1, 마스크된 토큰은 0. attention mask란 무엇인가요?[0, 1]:- 마스크되지 않은 토큰에 대해 1
- 마스크된 토큰에 대해 0
- position_ids (
torch.LongTensor의 shape(batch_size, sequence_length), , 선택 사항) — 위치 임베딩에서 각 입력 시퀀스 토큰의 위치 인덱스. 범위[0, config.n_positions - 1]. - cache (
~cache_utils.Cache, 선택 사항) — 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key와 value)입니다. 이는 일반적으로cache디코딩의 이전 단계에서 모델이 반환한use_cache=True또는config.use_cache=True.입력으로 Cache 인스턴스만 허용되며, kv cache guide를 참고하세요.
cache가 전달되지 않으면 기본적으로 DynamicCache가 초기화됩니다.모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다.
cache가 사용되는 경우, 이 모델에 과거 키 값 상태가 제공되지 않은input_ids만, 즉(batch_size, sequence_length)모양의 모든input_ids대신(batch_size, unprocessed_length)모양의 처리되지 않은input_ids를 입력해야 합니다. - inputs_embeds (
torch.FloatTensor, shape(batch_size, sequence_length, hidden_size), 선택) —input_ids를 전달하는 대신 임베딩 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다input_ids인덱스를 관련 벡터로 변환하는 방식에 대한 더 세밀한 제어가 필요한 경우 유용합니다. - labels (
torch.LongTensor, shape(batch_size, sequence_length), 선택 사항) — Causal language modeling loss를 계산하는 데 사용되는 라벨입니다. 내부적으로 shift되므로, decoder 시퀀스와 정렬되어야 합니다. 즉,input_ids/inputs_embeds와 동일한 길이를 가져야 하며, loss에 기여하지 않아야 하는 위치(오디오 컨텍스트 및 padding)에는-100을 사용합니다. - use_cache (
bool, 선택 사항) —True로 설정하면cache키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(cache참조). - logits_to_keep (
Union[int, torch.Tensor], 선택 사항, 기본값0) —int인 경우, 마지막logits_to_keep토큰에 대한 logits를 계산합니다.0인 경우, 모든input_ids에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다.torch.Tensor인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 패킹된 텐서 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다.
반환값
CausalLMOutputWithPast 또는 tuple(torch.Tensor)
torch.Tensor의 튜플 또는 CausalLMOutputWithPast입니다. 구성(OmniASRConfig)과 입력에 따라 다양한 요소를 포함하며, return_dict=False가 전달되거나 config.return_dict=False인 경우에도 동일합니다.
OmniASRForConditionalGeneration의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
loss (
torch.Tensor, shape(1,), 선택 사항,labels이 제공될 때 반환됨) — 언어 모델링 손실(다음 토큰 예측용).logits (
torch.Tensor, shape(batch_size, sequence_length, config.vocab_size)) — 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수).cache (
Cache, 선택 사항,use_cache=True가 전달되거나config.use_cache=True인 경우 반환됨) — Cache 인스턴스입니다. 자세한 내용은 kv cache 가이드를 참고하세요.순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력
cache참조).hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (
tuple(torch.Tensor), 선택 사항,output_attentions=True가 전달되었거나config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된torch.Tensor의 튜플로, 모양은(batch_size, num_heads, sequence_length, sequence_length)입니다.self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.
예:
>>> from transformers import AutoProcessor, OmniASRForConditionalGeneration
>>> from datasets import load_dataset, Audio
>>> model_id = "hf-audio/omniasr-llm-300m-v2"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = OmniASRForConditionalGeneration.from_pretrained(model_id)
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
>>> inputs = processor.apply_transcription_request(ds[0]["audio"]["array"], language="eng_Latn")
>>> generated_ids = model.generate(**inputs, max_new_tokens=256)
>>> transcription = processor.decode(generated_ids, skip_special_tokens=True)