Класс экспортера Auto-HF, который автоматически создаёт экземпляр правильного HfExporter на основе переданного ExportConfig.

Класс конфигурации экспорта Auto-HF, который автоматически выбирает правильную конфигурацию экспорта на основе конфигурации, сохранённой в словаре.

Зарегистрируйте экспортер с его config_class под его export_format, а также раннер, который выполняет его экспорт, чтобы автоклассы могли их найти.

Абстрактный базовый класс для всех экспортеров Transformers.

Чтобы добавить backend, создайте подкласс и реализуйте ~HfExporter.export_program для трассировки одного графа, а также ~HfExporter.save_program / ~HfExporter.load_program для записи и чтения. Публичные методы ~HfExporter.export и ~HfExporter.export_for_generation строят ExportedModel на их основе.

Экспортированная модель: её графы (components, {name: ExportedComponent}) и конфигурации, по которым они были прослежены, вызываемые так же, как и исходная модель.

~HfExporter.export создаёт один компонент "model", чья программа — .program; ~HfExporter.export_for_generation создаёт по одному компоненту на каждый этап генерации.

>>> exported = OnnxExporter().export(model, inputs, OnnxConfig(dynamic=True))
>>> exported.save_pretrained("exported")
>>> outputs = ExportedModel.from_pretrained("exported", device="cuda")(**inputs)
>>> outputs.last_hidden_state

Один экспортированный граф: программа бэкенда и сведения, которые экспортер записал о ней.

Что экспортер записал об одном графе (build_export_metadata()).

Выполняет один экспортированный программный модуль на его бэкенде: runner(**kwargs) возвращает то, что возвращает исходная модель.

Экспортер, который преобразует PreTrainedModel в ExportedProgram.

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported(**inputs)
>>> exported.save_pretrained("exported")  # `model.pt2`, its metadata and the model config

Экспортер, преобразующий PreTrainedModel в граф ONNX (onnx_ir.Model).

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> exported = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = exported(**inputs)  # on ONNX Runtime
>>> onnx_model = exported.program  # an `onnx_ir.Model`
>>> exported.save_pretrained("exported")  # `model.onnx`, its metadata and the model config

Экспортер, который преобразует PreTrainedModel в ExecutorchProgramManager ExecuTorch.

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> exported = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> outputs = exported(**inputs)  # on the ExecuTorch runtime
>>> exported.save_pretrained("exported")  # `model.pte`, its metadata and the model config

Класс конфигурации для экспорта моделей через torch.export.

Класс конфигурации для экспорта моделей в ONNX через torch.onnx.export.

Наследует все поля из DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Класс конфигурации для экспорта моделей в формат ExecuTorch.

Наследует все поля из DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Класс конфигурации для экспорта моделей в формат OpenVINO IR с помощью openvino.convert_model.

Наследует все поля из [DynamoConfig] (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Базовый класс для квантизаторов, применяемых на этапе пост-обучения при экспорте.

Квантизатор объявляет поддерживаемые форматы экспорта и необходимые пакеты (с версиями, на которых он протестирован, как и экспортеры), а также то, квантизирует ли он граф FX из torch.export до какого-либо преобразования (так что каждый бэкенд получает результат) или модель, в которую бэкенд ее преобразует (onnx_ir.Model, openvino.Model). Экспортер заранее валидирует его по отношению к экспорту, а затем вызывает ~ExportQuantizer.quantize с этой моделью и примерами входных данных экспорта. Создайте подкласс и реализуйте quantize, чтобы добавить новый метод квантизации; CalibrationSet сопоставляет калибровочные примеры с собственными входами модели.

Повторно итерируемое представление калибровочных образцов в качестве входных данных модели.

Образцами служат calibration_dataset квантизатора или собственные sample_inputs экспорта (с предупреждением, при первом чтении), если квантизатора нет. Это может быть любое отображение, например BatchEncoding токенизатора. transform преобразует каждый образец forward-аргументов в то, что принимает квантованная модель (отслеженные kwargs, входные данные ONNX, входные порты OpenVINO), лениво, по одному образцу за раз, на каждом проходе.

Квантизация графа FX с помощью квантизации PyTorch 2 Export (PT2E): prepare_pt2e вставляет наблюдатели, набор калибровки управляет ими, а convert_pt2e заменяет их на операции quantize/dequantize. Работает со всеми бэкендами экспорта.

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

Квантуйте преобразованную ONNX-модель с помощью собственных инструментов ONNX Runtime (onnxruntime.quantization): quantize_static с OnnxRuntimeStaticConfig (по умолчанию) или quantize_dynamic с OnnxRuntimeDynamicConfig.

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

Аргументы onnxruntime.quantization.quantize_static: int8 для активаций и весов (по умолчанию QDQ), откалиброванные на calibration_dataset квантизатора. Поле, оставленное равным None, сохраняет значение по умолчанию ONNX Runtime. См. quantize_static для каждого из них.

Аргументы onnxruntime.quantization.quantize_dynamic: веса int8, активации квантуются во время выполнения, калибровка не требуется. Поле, оставленное равным None, сохраняет значение по умолчанию в ONNX Runtime. См. quantize_dynamic для каждого из них.

Квантуйте преобразованную модель OpenVINO с помощью NNCF: nncf.quantize с NNCFQuantizationConfig (по умолчанию) или nncf.compress_weights с NNCFWeightCompressionConfig.

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

Квантуйте сконвертированную ONNX-модель с помощью NNCF через её ONNX-бэкенд: nncf.quantize с NNCFQuantizationConfig (по умолчанию, int8 QDQ) или nncf.compress_weights с NNCFWeightCompressionConfig (int4 как MatMulNBits в ONNX Runtime).

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

Квантизация графа FX из torch.export с помощью NNCF через его бэкенд TorchFX: nncf.quantize с NNCFQuantizationConfig (по умолчанию, операции quantize/dequantize) или nncf.compress_weights с NNCFWeightCompressionConfig. Как и PT2EQuantizer, он выполняется до любого преобразования, поэтому каждый бэкенд использует его результат. ExecuTorch понижает только результат weight-only: XNNPACK не делегирует операции quantize/dequantize, а в ExecuTorch нет для них ядер.

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

Аргументы nncf.quantize: int8-активации и веса, откалиброванные на calibration_dataset квантизатора. Поле, оставленное равным None, сохраняет значение по умолчанию NNCF, за исключением model_type, для которого значением по умолчанию является nncf.ModelType.TRANSFORMER. См. nncf.quantize для каждого из них.

Аргументы nncf.compress_weights: только веса int8 или int4, с методами, учитывающими данные (AWQ, оценка масштаба, GPTQ), для режимов int4. Режимы int8 не требуют данных; остальные калибруются на calibration_dataset квантизатора. gptq и lora_correction доступны только в OpenVINO. Поле, оставленное равным None, сохраняет значение по умолчанию NNCF. См. nncf.compress_weights для каждого из них.

Рекурсивно получить все тензоры-листья из потенциально вложенной структуры.

Настройте модель и входные данные для экспорта. Метод изменяет model и inputs на месте, возвращая (model, inputs, output_flags), где output_flags содержит значения, извлечённые из inputs для use_cache, return_dict и т. д. (чтобы их можно было обратимо применить к model.config с помощью patch_model_config во время трассировки).

• Удаляет входные данные меток (labels, future_values) — вычисление потерь не поддерживается.
• Удаляет флаги вывода (use_cache, return_dict, …) из inputs, чтобы они не появлялись как отслеживаемые kwargs; значения возвращаются для применения блока трассировки к model.config.
• Предварительно вычисляет kwargs для зрения/аудио, зависящие от данных и зарегистрированные через @register_export_input_preparer, и записывает их в inputs.
• Преобразует входные тензоры в соответствии с dtype / device модели.

Запустите model.generate() и зафиксируйте входные данные для prefill и decode.

Повторно использует полный механизм генерации, чтобы каждая архитектура (только декодер, SSM, энкодер-декодер, мультимодальная, …) получала корректные входные данные без повторной реализации цикла.

generation_config передаётся в generate() (по умолчанию используется собственный конфиг модели), поэтому захваченные входные данные используют тот же кэш, который построила бы generate(). Передайте конфиг с cache_implementation="static" и max_cache_len=N, чтобы захватить кэш статического размера во входных данных декодирования — это основа для экспорта со статическим кэшем. max_cache_len задаёт размер кэша независимо от захвата, поэтому экспортированный декодер принимает фиксированный кэш [..., N, ...], а не растущий.

Если включён multi_token_decode, компонент decode захватывается как multi-token decode — два последовательных шага декодирования объединяются (см. _merge_decode_calls), чтобы ось query-последовательности оставалась символьной (при single-token decode эта ось специализируется в 1). Затем он обрабатывает как один токен (обычное декодирование), так и множество (продолжение из прошлого или обычный prefill, если кэш пуст). В противном случае decode — это классический single-token decode.

Захватите входные данные для каждого мультимодального подмодуля за один прямой проход.

Определяет все известные мультимодальные подмодули по имени атрибута (vision tower, projector, language model, lm_head, …) и фиксирует их аргументы forward во время одного вызова model(**inputs).

Каждый подмодуль возвращается как отдельная запись name: (module, inputs) для независимого экспорта. Шаг слияния токенов (например, masked_scatter для мультимодальных моделей) намеренно вынесен за пределы экспортируемых графов — ответственность за сборку inputs_embeds из выходов кодировщика перед запуском декодера лежит на вызывающей стороне.

Разбейте генеративную модель на независимо экспортируемые пары (model, forward_inputs).

Выполняет decompose_prefill_decode для захвата аргументов kwargs для forward-прохода prefill и decode из реального вызова model.generate(**inputs, max_new_tokens=2). Если prefill является мультимодальным (согласно is_multimodal), он дополнительно разбивается на один элемент на каждый подмодуль (визуальный/аудио-энкодер, проектор, языковая модель, lm_head) с помощью decompose_multimodal.

Возвращает True, если модель мультимодальная и содержит модальные энкодеры и языковую модель.

Модель, не являющаяся PreTrainedModel (например, обычный nn.Module), не имеет канонических аксессоров get_encoder/get_decoder и тривиально не является мультимодальной, поэтому функция сразу возвращает False.