Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Xet: Backend Penyimpanan Kami

Repository di Hugging Face Hub berbeda dari repository di platform pengembangan perangkat lunak. Mereka berisi file yang:

Besar - file model atau dataset berada dalam kisaran GB ke atas. Kami memiliki beberapa file berskala TB!
Binary - secara default tidak dalam format yang dapat dibaca manusia (misalnya, Safetensors atau Parquet)

Meskipun Hub memanfaatkan kontrol versi modern dengan dukungan Git, perbedaan-perbedaan ini membuat repositori Model dan Dataset cukup berbeda dari repositori yang hanya berisi kode sumber.

Menyimpan file-file ini secara langsung di dalam repositori Git murni tidak praktis. Tidak hanya sistem penyimpanan yang umumnya berada di balik repositori Git tidak cocok untuk file semacam itu, tetapi juga saat Anda mengkloning sebuah repositori, Git mengambil seluruh riwayatnya, termasuk semua revisi file. Hal ini dapat menjadi sangat besar untuk biner berukuran masif, memaksa Anda untuk mengunduh gigabyte data historis yang mungkin tidak pernah Anda butuhkan.

Sebagai gantinya, di Hub, file-file besar ini dilacak menggunakan “pointer files” dan diidentifikasi melalui file .gitattributes (keduanya dibahas lebih detail di bawah), yang tetap berada di repositori Git sementara data aktual disimpan di penyimpanan jarak jauh (seperti Amazon S3). Akibatnya, repositori tetap kecil dan alur kerja Git yang umum tetap efisien.

Secara historis, repositori Hub mengandalkan Git LFS untuk mekanisme ini. Meskipun Git LFS masih didukung (lihat Kompatibilitas Mundur & Legacy), Hub telah mengadopsi Xet, sistem penyimpanan kustom modern yang dibangun khusus untuk pengembangan AI/ML. Sistem ini memungkinkan deduplikasi pada tingkat chunk, unggahan yang lebih kecil, dan unduhan yang lebih cepat dibandingkan Git LFS.

Protokol Xet Open Source

Jika Anda ingin memahami protokol Xet yang mendasarinya atau ingin membangun pustaka klien baru untuk mengakses Xet Storage, lihat Spesifikasi Protokol Xet.

Di halaman-halaman ini Anda akan mulai menggunakan Xet Storage.

Isi

Update on GitHub

←Batas Penyimpanan Riwayat & Gambaran Umum Xet→