Accéder aux données du classement des benchmarks

Les jeux de données de référence sur le Hub contiennent des classements qui classent les modèles selon leurs scores d'évaluation. Vous pouvez accéder à ces données de manière programmatique pour les analyser, ou pour construire des tableaux de bord ou des outils à partir de celles-ci.

Découvrir les benchmarks officiels

Utilisez huggingface_hub pour trouver tous les jeux de données de référence officiels :

from huggingface_hub import HfApi

api = HfApi()
for ds in api.list_datasets(benchmark=True):
    print(ds.id)

Ou directement via l'API REST (utile pour les agents et le scriptage) :

GET https://huggingface.co/api/datasets?filter=benchmark:official

Obtenir les classements

L'API du classement renvoie les scores de modèles classés pour un jeu de données de référence :

GET https://huggingface.co/api/datasets/{dataset_id}/leaderboard

Utilisez get_dataset_leaderboard pour récupérer les scores des modèles classés sous forme d’objets DatasetLeaderboardEntry typés :

from huggingface_hub import HfApi

api = HfApi()
leaderboard = api.get_dataset_leaderboard("SWE-bench/SWE-bench_Verified")

for entry in leaderboard[:5]:
    print(f"#{entry.rank} {entry.model_id}: {entry.value}")

huggingface_hub utilise par défaut votre jeton en cache. Pour les jeux de données de référence sous licence, assurez-vous d’être connecté (hf auth login) ou transmettez explicitement un jeton :

Copié

leaderboard = api.get_dataset_leaderboard("gated/benchmark", token="hf_...")

Commande Curl en une ligne pour un accès rapide (utile pour les agents et le scriptage) :

Copié

curl https://huggingface.co/api/datasets/cais/hle/leaderboard \
  --header "Authorization: Bearer $(cat ~/.cache/huggingface/token)" | jq .

Champs de réponse

Chaque DatasetLeaderboardEntry contient :

Jeu de données multi-benchmarks pré-agrégé

Si vous souhaitez obtenir les scores de plusieurs benchmarks dans un seul fichier, le jeu de données OpenEvals/leaderboard-data agrège les scores des benchmarks officiels dans un seul fichier Parquet :

Vous pouvez le charger directement avec pandas en utilisant le chemin hf:// :

import pandas as pd

df = pd.read_parquet(
    "hf://datasets/OpenEvals/leaderboard-data/data/train-00000-of-00001.parquet"
)
print(df[["model_name", "provider", "aime2026_score", "mmluPro_score"]].head())

C'est la méthode la plus rapide pour obtenir une vue comparative entre les différents benchmarks sans appeler plusieurs points de terminaison d'API.

Enrichissement avec les métadonnées du modèle

Utilisez huggingface_hub pour enrichir les données du classement avec les dates de publication, le nombre de paramètres et d'autres métadonnées :

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B")

print(f"Released: {info.created_at}")
print(f"Parameters: {info.safetensors.total / 1e9:.1f}B" if info.safetensors else "")

Vue centrée sur le modèle : résultats d'évaluation par modèle

L’API du classement offre une vue centrée sur le jeu de données (tous les modèles sur un seul benchmark). Pour l’inverse — tous les scores de benchmark pour un seul modèle — utilisez model_info avec expand=["evalResults"] :

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B", expand=["evalResults"])

for result in info.eval_results:
    print(f"{result.dataset_id}: {result.value}")

Cela renvoie des objets EvalResultEntry analysés à partir des fichiers .eval_results/ du modèle.

Exemple : construire à partir des données du classement

L'Espace Benchmark Leaderboard Race combine ces sources de données pour créer une visualisation animée de l'évolution des classements des modèles au fil du temps. Vous pouvez construire vos propres analyses et visualisations à partir de ces données — consultez le code source pour un exemple complet.

Intégrer un classement dans une page web

Vous pouvez intégrer directement le tableau de classement d’un jeu de données de référence dans votre propre page web à l’aide d’une balise iframe.

L’URL à utiliser est https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/leaderboard, où <namespace> est le propriétaire du jeu de données de référence (utilisateur ou organisation) et <dataset-name> est le nom du jeu de données.

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

Paramètres

Vous pouvez configurer le tableau de bord intégré en passant des paramètres de requête dans l’URL de l’iframe :

Par exemple, pour intégrer le classement HLE avec le tableau déplié et un modèle spécifique mis en évidence :

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard?leaderboard_is_expanded=true&eval_result=meta-llama/Llama-3.1-8B"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

L'intégration n'est disponible que pour les jeux de données de référence officiels disposant de résultats d'évaluation.

Lié

• Résultats d'évaluation — comment soumettre des résultats d'évaluation et enregistrer des benchmarks
• Joues de données de référence officielles — parcourez toutes les références officielles