Historial y descripción general de Xet

En agosto de 2024, Hugging Face adquirió XetHub, una startup en etapa semilla con sede en Seattle, para reemplazar Git LFS en el Hub.

Al igual que Git LFS, un repositorio con respaldo de Xet utiliza S3 como almacenamiento remoto, con un archivo .gitattributes en la raíz del repositorio que ayuda a identificar qué archivos deben almacenarse de forma remota.

Un archivo puntero de Git LFS proporciona metadatos para localizar el contenido real del archivo en el almacenamiento remoto:

• SHA256: Proporciona un identificador único para el archivo grande real. Este identificador se genera calculando el hash SHA-256 del contenido del archivo.
• Tamaño del puntero: El tamaño del archivo de puntero almacenado en el repositorio de Git.
• Tamaño del archivo remoto: Indica el tamaño del archivo grande real en bytes. Esta metadatos es útil tanto para fines de verificación como para gestionar las operaciones de almacenamiento y transferencia.

Un puntero Xet incluye toda esta información por diseño. Consulte la sección sobre compatibilidad hacia atrás con Git LFS con la adición de un campo Xet backed hash para hacer referencia al archivo en el almacenamiento de Xet.

A diferencia de Git LFS, que deduplica a nivel de archivo, los repositorios habilitados con Xet deduplican a nivel de bytes. Cuando se actualiza un archivo respaldado por almacenamiento Xet, solo se suben a la almacenamiento remoto los datos modificados, lo que ahorra significativamente en transferencias de red. Para muchos flujos de trabajo, como actualizaciones incrementales de puntos de control de modelos o la adición/inserción de nuevos datos en un conjunto de datos, esto mejora la velocidad de iteración para ti y tus colaboradores. Para obtener más información sobre la deduplicación en el almacenamiento Xet, consulte Deduplication.

Update on GitHub