参数

• text (Union[str, list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True 以避免与批量输入产生歧义。
• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], 可选) — 要准备处理的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。 如果为 NumPy 数组/PyTorch 张量，每个音频的形状应为 (C, T)，其中 C 为通道数，T 为音频的采样长度。
• output_labels (bool，可选，默认值=False) — 是否返回用于训练的标签。
• return_mm_token_type_ids (bool, kwargs) — 是否返回多模态 token 类型 id，用于指示多模态占位符 token 的位置。
• return_text_replacement_offsets (bool, kwargs) — 是否返回每个多模态占位符及其替换内容的字符偏移量。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
• **kwargs (ProcessingKwargs，可选) — 每种模态（文本、图像、视频、音频）的额外处理选项。模型特定参数已在上方列出；有关支持参数的完整列表，请参阅 TypedDict 类。

参数

• audio (str, list[str], np.ndarray, torch.Tensor, list[np.ndarray], list[torch.Tensor]) — 要转录的音频。字符串会被解释为本地路径或 URL，并由聊天模板加载器自动加载；NumPy 数组和 PyTorch 张量会被直接传递。
• prompt (str 或 list[str]，可选) — 包含在用户轮次中的自定义提示。列表的长度必须与批次相同。当为 None 时， 每个样本使用 default_transcription_prompt。
• **kwargs — 转发给 apply_chat_template() 的额外关键字参数（例如 text_kwargs、audio_kwargs 等）。 除非传入 enable_thinking=True，否则思考功能处于禁用状态（聊天模板默认启用该功能）。

参数

• conversation (Union[list[Dict, [str, str]], list[list[dict[str, str]]]]) — 要格式化的对话。
• chat_template (Optional[str]，可选) — 用于格式化对话的 Jinja 模板。如果未提供，则使用分词器的聊天模板。
• sanitize_control_tokens (bool，默认为 False) — 是否将对话、工具、文档以及作为 **kwargs 传入的模板变量中发现的控制标记编码为纯文本，从而防止用户输入写入这些标记或 mm 占位符。 请参阅分词器的 apply_chat_template。 需要 tokenize=True。

参数

• text (str 或 list[str]) — 单条文本或文本批次，使用 skip_special_tokens=False 进行解码：<spk:N> 说话人标签属于特殊标记。从文本结束标记开始的所有内容均会被丢弃。

参数

• transcriptions（str 或 list[str]）— 每条录音的生成文本，使用 skip_special_tokens=False 进行解码，以保留 <spk:N> 标签。
• word_timestamp_logits（形状为 (batch_size, num_frames * upsampling_factor, vocab_size) 的 torch.Tensor）— 词时间戳头的 logits（即 generate(..., return_word_timestamp_logits=True) 或 model.get_word_timestamp_logits(...) 返回的 word_timestamp_logits），其中最后一个类别为 CTC 空白。每个编码器帧对应的帧数，即该头的 upsampling_factor，可从其形状中读取。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 每条录音中有效频谱帧的掩码，由处理器返回：其数量决定了录音的时长，进而决定头部帧的时间步长。
• speaker_logits (torch.Tensor，形状为 (batch_size, num_frames * subsampling_factor, num_speakers)，可选) — 说话人分离模型的 logits（即 generate(..., return_word_timestamp_logits=True) 或 get_audio_features 返回的 speaker_logits）。如果未提供，每条转录文本将被视为单一说话人进行对齐，且不会返回说话人分离结果。
• language (str 或 list[str | None]，可选) — 转录文本的语言，可为所有转录文本指定一种语言，或为每条转录文本分别指定一种语言；当值为 None 时，将根据脚本自动检测： "zh" 和 "ja" 按字符对齐，"th" 不受支持。
• speaker_activity_threshold (float，可选，默认值为 0.5) — 说话人处于活跃状态的判定概率阈值。
• max_word_duration (float，可选，默认值为 1.0) — 对齐单词的最大时长，单位为秒。
• max_word_frames (int, 可选，默认为 12) — 对齐到说话人分离片段的单词的最大偏移量和持续时间，以不超过 80 毫秒的编码器帧为单位。

参数

• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 feature_extractor_class 获取音频特征。有关详细信息，请参阅 feature_extractor_class.__call__（processor_class 使用 feature_extractor_class 来处理音频）。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• position_ids (torch.Tensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

  什么是位置 ID？

参数

• input_features (torch.Tensor，形状为 (batch_size, feature_sequence_length, num_mel_bins)) — 对数梅尔频谱图，填充至 config.subsampling_factor 帧的整数倍。与原始实现一致，长度超过 config.diarization_config.chunk_length 个编码器帧的音频将以带上下文的分块方式进行编码。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor，可选） — 有效频谱帧的掩码。填充必须位于右侧。

参数

• inputs_embeds（形状为 (batch_size, num_frames, hidden_size) 的 torch.Tensor）— 语音识别编码器状态，位于音频模型的 asr_norm 和说话人嵌入之前。
• attention_mask (torch.Tensor，形状为 (batch_size, num_frames)，可选) — 有效编码器帧的掩码。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 feature_extractor_class 获取音频特征。有关详细信息，请参阅 feature_extractor_class.__call__（processor_class 使用 feature_extractor_class 来处理音频）。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 用于避免对填充特征索引执行注意力机制的掩码。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

参数

• input_features (torch.Tensor) — 从原始语音波形中提取的梅尔特征的浮点值。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 用于避免对填充的特征索引执行注意力机制的掩码。

参数

• asr_last_hidden_state (torch.Tensor，形状为 (batch_size, num_frames, audio_config.hidden_size)) — 语音识别编码器在归一化和说话人嵌入之前的输出，即 get_audio_features() 针对 input_features_mask 返回的结果。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 有效频谱帧的掩码。填充必须位于右侧。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 feature_extractor_class 获取音频特征。有关详细信息，请参阅 feature_extractor_class.__call__（processor_class 使用 feature_extractor_class 来处理音频）。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 用于避免对填充特征索引执行注意力机制的掩码。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• labels（形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 用于计算掩码语言建模损失的标签。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• logits_to_keep (Union[int, torch.Tensor], 可选，默认为 0) — 如果为 int，则计算最后 logits_to_keep 个 token 的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。生成过程只需要最后一个 token 的 logits，仅针对该 token 进行计算可以节省内存，对于长序列或大词汇量而言，这种节省相当显著。 如果为 torch.Tensor，则必须是一维张量，对应于序列长度维度中需要保留的索引。 这在使用打包张量格式（将批次和序列长度合并为单一维度）时非常有用。

参数

• input_features (`of shape(batch_size, sequence_length, feature_dim)) -- The tensors corresponding to the input audio features. Audio features can be obtained using feature_extractor_class. See feature_extractor_class.call for details (processor_classusesfeature_extractor_class` for processing audios).
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 有效频谱帧的掩码。填充必须位于右侧。

参数

• asr_last_hidden_state (torch.Tensor，形状为 (batch_size, num_frames, audio_config.hidden_size)) — 语音识别编码器在归一化和说话人嵌入之前的输出，即 get_audio_features() 针对 input_features_mask 返回的结果。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 有效频谱帧的掩码。填充必须位于右侧。