Tarjetas de conjuntos de datos

¿Qué son las tarjetas de conjuntos de datos?

Cada conjunto de datos puede estar documentado mediante el archivo README.md del repositorio. Este archivo se denomina dataset card y el Hugging Face Hub mostrará su contenido en la página principal del conjunto de datos. Para informar a los usuarios sobre cómo usar los datos de manera responsable, es una buena idea incluir información sobre posibles sesgos dentro del conjunto de datos. En general, las dataset cards ayudan a los usuarios a comprender el contenido del conjunto de datos y proporcionan contexto sobre cómo debe utilizarse.

También puedes agregar metadatos del conjunto de datos a tu tarjeta. Los metadatos describen información importante sobre un conjunto de datos, como su licencia, idioma y tamaño. También contienen etiquetas para ayudar a los usuarios a descubrir un conjunto de datos en el Hub, y opciones de configuración de archivos de datos. Las etiquetas se definen en una sección de metadatos YAML en la parte superior del archivo README.md.

Metadatos de la tarjeta del conjunto de datos

Un repositorio de conjuntos de datos mostrará su README.md como una tarjeta de conjunto de datos. Para controlar cómo el Hub muestra la tarjeta, debes crear una sección YAML en el archivo README para definir algunos metadatos. Comienza agregando tres --- en la parte superior, luego incluye todos los metadatos relevantes y cierra la sección con otro grupo de --- como en el ejemplo a continuación:

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Los metadatos que agregas a la tarjeta del conjunto de datos habilitan ciertas interacciones en el Hub. Por ejemplo:

• Permitir a los usuarios filtrar y descubrir conjuntos de datos en https://huggingface.co/datasets.
• Si eliges una licencia usando las palabras clave enumeradas en la columna derecha de esta tabla, la licencia se mostrará en la página del conjunto de datos.

Al crear un archivo README.md en un repositorio de datos en el Hub, usa Metadata UI para completar los metadatos principales:

Para ver los campos de metadatos, consulte las especificaciones detalladas de la tarjeta de dataset.

Guía para crear una tarjeta de dataset

Para una guía paso a paso sobre la creación de una tarjeta de conjunto de datos, consulta la guía Create a dataset card.

Leer las tarjetas de conjuntos de datos existentes, como la tarjeta del conjunto de datos ELI5, es una excelente manera de familiarizarse con las convenciones comunes.

Vincular un artículo

Si la tarjeta del conjunto de datos incluye un enlace a una página de Paper (ya sea en HF o un resumen/PDF de Arxiv), el Hub extraerá el ID de arXiv y lo incluirá en las etiquetas del conjunto de datos con el formato arxiv:<PAPER ID>. Al hacer clic en la etiqueta podrás:

• Visite la página del Paper
• Filtrar por otros modelos en el Hub que citan el mismo artículo.

Lee más sobre las páginas de artículos aquí.

Forzar la configuración de una modalidad de conjunto de datos

El Hub detectará automáticamente la modalidad de un conjunto de datos en función de los archivos que contiene (audio, video, geoespacial, etc.). Si deseas forzar una modalidad específica, puedes añadir una etiqueta a los metadatos de la tarjeta del conjunto de datos: 3d, audio, geospatial, image, tabular, text, timeseries, video.

Por ejemplo, para forzar la modalidad a audio, añade lo siguiente a los metadatos de la tarjeta del conjunto de datos:

tags:
- audio

Asociar una biblioteca al conjunto de datos

La página del conjunto de datos muestra automáticamente las bibliotecas y herramientas que pueden cargarlo de forma nativa, pero si deseas mostrar otra biblioteca específica, puedes añadir una etiqueta a los metadatos de la tarjeta del conjunto de datos. Las etiquetas admitidas incluyen agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers y webdataset. Consulta la lista de bibliotecas admitidas para ver la lista completa o para proponer una nueva biblioteca.

Por ejemplo, para asociar la biblioteca argilla a la tarjeta del conjunto de datos, añade lo siguiente a los metadatos de la tarjeta del conjunto de datos:

tags:
- argilla

Declarar un conjunto de datos de entorno de RL

Un entorno de RL es un repositorio de datos ordinario cuyos archivos pueden ser consumidos por uno o más marcos de entorno. Añade la etiqueta rl-environment para que el conjunto de datos sea detectable con el filtro RL Environments y, a continuación, añade una etiqueta para cada marco compatible. Las etiquetas de marco también añaden sus comandos generados a Use this dataset.

Por ejemplo, un conjunto de datos que contiene directorios de tareas de Harbor y que también puede cargarse con Verifiers utiliza esta tarjeta de conjunto de datos en YAML:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

Las etiquetas de marco de entorno compatibles son:

Estas etiquetas describen la compatibilidad y generan comandos de carga. No crean un nuevo tipo de repositorio ni hacen que el Hub ejecute el entorno.