Transformers documentation

共有

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

共有

Hugging Face Hub は、あらゆるタイプやサイズのモデルを共有・発見・利用するためのプラットフォームです。オープンソースの機械学習をすべての人にとって前進させるため、モデルを Hub に共有することを強くお勧めします。

このガイドでは、TransformersからモデルをHubに共有する方法を説明します。

セットアップ

モデルを Hub に共有するには、Hugging Face の アカウント が必要です。User Access Token を作成し(デフォルトでは cache に保存されます)、コマンドラインまたはノートブックからアカウントにログインしてください。

huggingface-CLI
ノートブック
hf auth login

リポジトリの機能

各モデルリポジトリには、バージョン管理、コミット履歴、および差分の可視化機能が備わっています。

バージョン管理はGitとGit Large File Storage (LFS)に基づいており、リビジョン(コミットハッシュ、タグ、またはブランチによってモデルのバージョンを指定する方法)を可能にします。

例えば、from_pretrained() の revision パラメータを使用して、コミットハッシュから特定のモデルバージョンを読み込むことができます。

model = AutoModel.from_pretrained(
    "julien-c/EsperBERTo-small", revision="4c77982"
)

ブランチまたはタグから読み込む場合、その呼び出し内のすべてのファイルが1つのコミットに固定され、その後、そのコミットからすべてのファイルが取得されます。

そのピンは呼び出しの間のみ有効です。実行間の再現性を確保するには、固定とみなす明示的なコミットハッシュまたはタグを渡してください。main など、実行間で移動するブランチが固定され続けることを前提としないでください。

モデルリポジトリは、モデルへのアクセスを制御するためのゲーティングにも対応しています。ゲーティングは、研究モデルを一般公開する前に、特定のユーザーグループにプレビューを許可するために一般的に使用されます。

モデルリポジトリには、ユーザーが Hub 上でモデルに直接対話できる推論用のウィジェットも含まれています。

詳細については、HubのModelsドキュメントを参照してください。

モデルのアップロード

ワークフローの好みによって、モデルを Hub にアップロードする方法はいくつかあります。Trainer を使用してモデルをプッシュすることも、モデルに対して push_to_hub() を直接呼び出すことも、Hub の Web インターフェースを使用することもできます。

Trainer

Trainerは、学習後にモデルを直接Hubにプッシュできます。TrainingArgumentsでpush_to_hub=Trueを設定し、Trainerに渡します。学習が完了したら、push_to_hub()を呼び出してモデルをアップロードします。

push_to_hub() は、モデルカードに学習ハイパーパラメータや結果などの有用な情報を自動的に追加します。

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(output_dir="my-awesome-model", push_to_hub=True)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
trainer.push_to_hub()

モデルをプライベートリポジトリにアップロードするには、TrainingArguments で hub_private_repo=True を設定します。リポジトリがまだ作成されていない場合(TrainingArguments で push_to_hub=False になっている場合など)、代わりに push_to_hub() に private=True を渡すこともできます。private 引数はリポジトリが作成される際にのみ有効になるため、既存のリポジトリの公開設定は変更されません。

trainer.push_to_hub(private=True)

PushToHubMixin

PushToHubMixin は、モデルやトークナイザーを Hub にプッシュする機能を提供します。

Call push_to_hub() directly on a model to upload it to the Hub. It creates a repository under your namespace with the model name specified in push_to_hub().

model.push_to_hub("my-awesome-model")

トークナイザーなどの他のオブジェクトも、同じ方法で Hub にプッシュされます。

tokenizer.push_to_hub("my-awesome-model")

Hugging Faceのプロフィールに、新しく作成したモデルリポジトリが表示されるはずです。Filesタブに移動して、アップロードされたすべてのファイルを確認してください。

ファイルを Hub にプッシュする詳細については、ファイルを Hub にアップロードするガイドを参照してください。

HubのWebインターフェース

HubのWebインターフェースは、モデルをアップロードするためのノーコード方式です。

  1. New Model を選択して、新しいリポジトリを作成します。

モデルに関する情報を追加します:

  • リポジトリのownerを選択します。これは、ご自身または所属している組織のいずれかです。
  • モデルの名前を選択してください。これがリポジトリ名にもなります。
  • モデルを公開にするか非公開にするかを選択します。
  • ライセンスの使用法を設定します。
  1. モデルの作成をクリックして、モデルのリポジトリを作成します。

  2. Files タブを選択し、Add file ボタンをクリックして、ファイルをリポジトリにドラッグ&ドロップします。コミットメッセージを追加し、Commit changes to main をクリックしてファイルをコミットします。

モデルカード

モデルカードは、モデルの性能、制約事項、潜在的なバイアス、倫理的な考慮事項についてユーザーに情報を提供します。リポジトリにモデルカードを追加することを強く推奨します。

モデルカードは、リポジトリ内のREADME.mdファイルです。このファイルを追加するには、次の手順を実行します。

  • README.md ファイルを手動で作成してアップロードする
  • リポジトリのモデルカードを編集ボタンをクリックすること

モデルカードに何を記載すべきかの例として、Llama 3.1のモデルカードをご覧ください。

Model Cardsガイドで、カーボン排出量、ライセンス、論文へのリンクなど、その他のモデルカードのメタデータについて詳しく学んでください。

Update on GitHub