Accelerate documentation

実験トラッカー

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

実験トラッカー

GeneralTracker

class accelerate.tracking.GeneralTracker

< >

( _blank = False )

すべてのログ統合実装で使用するベースとなるTrackerクラス。

各関数は、Acceleratorに渡されるベース辞書から自動的に渡される**kwargsを受け取る必要があります。

name、requires_logging_directory、trackerのプロパティを実装し、以下を満たすようにしてください:

name (str): “TensorBoard” などの、トラッカークラス名の文字列表現。 requires_logging_directory (bool): ロガーがログを保存するディレクトリを必要とするかどうか。 tracker (object): トラッカークラスが使用する内部のトラッキング機構(wandb の run など)を返す必要があります。

実装には、main_process_only (bool) 属性を含めることもでき、関連するログ出力、初期化、その他の関数をメインプロセスでのみ実行するか、すべてのプロセスで実行するかを切り替えます(デフォルトではTrueが使用されます)。

finish

< >

( )

トラッキングAPI内の最終処理関数を実行する必要があります。APIにそのような関数がない場合は、そのメソッドをオーバーライドしないでください。

log

< >

( values: dictstep: int | None = None**kwargs )

パラメータ

  • values (辞書、str から str、float、または int へ) — キーと値のペアとして記録する値。値の型は str、float、または int である必要があります。
  • step (int, 任意) — 実行ステップです。指定された場合、ログはこのステップに紐付けられます。

現在のランにvaluesをログ出力します。トラッキングAPIのベースとなるlog実装はここに配置し、`step`パラメータに対する特別な動作もここで処理します。

開始

< >

( )

InitProcessGroupKwargsの前にPartialStateを初期化しないように、Accelerator内のトラッカーの遅延初期化を実装しました。

store_init_configuration

< >

( values: dict )

パラメータ

  • values (辞書、str から bool、str、float または int へ) — キーと値のペアとして初期ハイパーパラメータとして保存される値。値の型は bool、 str、float、int、または None である必要があります。

実行のハイパーパラメータとしてvaluesをログに記録します。実装では、トラッキングAPIの実験設定機能を使用する必要があります。

register_tracker_class

accelerate.tracking.register_tracker_class

< >

( tracker_class: type[accelerate.tracking.GeneralTracker] )

パラメータ

  • tracker_class(GeneralTracker のサブクラス)— 登録するトラッカークラスです。GeneralTracker を継承し、空でない name クラス属性と requires_logging_directory クラス属性を定義する必要があります。このクラスは、Accelerator.init_trackers() に渡された project_name を最初の位置引数としてインスタンス化されます。requires_logging_directory が True の場合、ログディレクトリが第2の位置引数として渡されます(組み込みトラッカーの慣例に準拠)。init_kwargs からのトラッカー固有のキーワード引数は、**kwargs として転送されます。

GeneralTrackerのサブクラスを登録し、Acceleratorのlog_with引数で、組み込みのトラッカーと同様にnameを指定して参照できるようにします。

Accelerator をインスタンス化する前に、トラッカーを登録しておく必要があります。

例:

from accelerate import Accelerator
from accelerate.tracking import GeneralTracker, register_tracker_class


class MyTracker(GeneralTracker):
    name = "my_tracker"
    requires_logging_directory = False
    # ... implement the rest of the `GeneralTracker` interface


register_tracker_class(MyTracker)
accelerator = Accelerator(log_with="my_tracker")

TensorBoardTracker

クラス accelerate.tracking.TensorBoardTracker

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前
  • logging_dir (str, os.PathLike) — TensorBoardログを保存する場所。
  • **kwargs (追加のキーワード引数、任意) — tensorboard.SummaryWriter.__init__ メソッドに渡される追加のキーワード引数です。

tensorboardをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

WandBTracker

class accelerate.tracking.WandBTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — wandb.init メソッドに渡される追加のキーワード引数です。

wandbをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

Trackio

クラス accelerate.tracking.TrackioTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前です。trackio をインスタンス化する際に project 名として使用されます。
  • **kwargs (追加のキーワード引数、任意) — trackio.init メソッドに渡される追加のキーワード引数です。サポートされているすべてのキーワード引数については、この init を参照してください。

trackioをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

CometMLTracker

class accelerate.tracking.CometMLTracker

< >

( run_name: str**kwargs )

パラメータ

comet_mlをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

APIキーはCometの設定ファイルに保存する必要があります。

注: comet_mlのバージョンが3.41.0未満の場合、追加のキーワード引数は代わりにcomet_ml.Experimentに渡されます: https://www.comet.com/docs/v2/api-and-sdk/python-sdk/reference/Experiment/#comet_ml.Experiment.__init__

__init__

< >

( run_name: str**kwargs )

AimTracker

class accelerate.tracking.AimTracker

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — Run.__init__ メソッドに渡される追加のキーワード引数です。

aimをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

MLflowTracker

class accelerate.tracking.MLflowTracker

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

パラメータ

  • experiment_name (str, 任意) — 実験の名前です。環境変数 MLFLOW_EXPERIMENT_NAME がこの引数よりも優先されます。
  • logging_dir (str または os.PathLike、デフォルトは ".") — mlflow のログを保存する場所。
  • run_id (str, 任意) — 指定された場合、指定された UUID を持つ run を取得し、その run 配下にパラメータとメトリクスを記録します。run の終了時刻は未設定となり、ステータスは running に設定されますが、run のその他の属性(source_version、source_type など)は変更されません。環境変数 MLFLOW_RUN_ID はこの引数よりも優先されます。
  • tags (Dict[str, str], 省略可) — ランにタグとして設定するための、str のキーと値を持つ任意の dict、または dict からの str ダンプです。ランの再開が行われる場合、これらのタグは再開されたランに設定されます。新しいランが作成される場合、これらのタグは新しいランに設定されます。環境変数 MLFLOW_TAGS は、この引数よりも優先されます。
  • nested_run (bool、省略可能、デフォルトはFalse) — run が親 run にネストされるかどうかを制御します。True を指定すると、ネストされた run が作成されます。環境変数 MLFLOW_NESTED_RUN は、この引数よりも優先されます。
  • run_name (str, オプション) — 新しいランの名前 (mlflow.runName タグとして保存されます)。run_id が指定されていない場合のみ使用されます。
  • description (str, 省略可能) — 実行の説明ボックスに設定する任意の文字列です。実行を再開する場合、再開された実行に説明が設定されます。新しい実行を作成する場合、新しい実行に説明が設定されます。

mlflowをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

ClearMLTracker

class accelerate.tracking.ClearMLTracker

< >

( run_name: str | None = None**kwargs )

パラメータ

  • run_name (str, オプション) — 実験の名前です。環境変数 CLEARML_PROJECT および CLEARML_TASK は、この引数よりも優先されます。
  • **kwargs (追加のキーワード引数、任意) — Task.__init__ メソッドに渡されるKwargs。

clearmlをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str | None = None**kwargs )

SwanLabTracker

class accelerate.tracking.SwanLabTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — swanlab.init メソッドに渡される追加のキーワード引数です。

swanlab をサポートする Tracker クラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

Update on GitHub