Riwayat & Gambaran Umum Xet

Pada Agustus 2024, Hugging Face mengakuisisi XetHub, sebuah startup tahap benih yang berbasis di Seattle, untuk menggantikan Git LFS di Hub.

Seperti Git LFS, repositori yang didukung Xet memanfaatkan S3 sebagai penyimpanan jarak jauh, dengan file .gitattributes di akar repositori yang membantu mengidentifikasi file mana yang harus disimpan secara jarak jauh.

File penunjuk Git LFS menyediakan metadata untuk menemukan konten file yang sebenarnya di penyimpanan jarak jauh:

• SHA256: Menyediakan pengidentifikasi unik untuk file besar yang sebenarnya. Pengidentifikasi ini dihasilkan dengan menghitung hash SHA-256 dari isi file.
• Ukuran pointer: Ukuran file pointer yang disimpan di repositori Git.
• Ukuran file jarak jauh: Menunjukkan ukuran file besar yang sebenarnya dalam byte. Metadata ini berguna untuk keperluan verifikasi maupun untuk mengelola operasi penyimpanan dan transfer.

Pointer Xet secara desain mencakup semua informasi ini. Lihat bagian kemampuan mundur dengan Git LFS dengan penambahan bidang Xet backed hash untuk merujuk ke file di penyimpanan Xet.

Berbeda dengan Git LFS yang melakukan deduplikasi pada level file, repositori yang diaktifkan Xet melakukan deduplikasi pada level byte. Ketika file yang didukung penyimpanan Xet diperbarui, hanya data yang dimodifikasi yang diunggah ke penyimpanan jarak jauh, sehingga menghemat transfer jaringan secara signifikan. Untuk banyak alur kerja, seperti pembaruan inkremental pada checkpoint model atau penambahan/penyisipan data baru ke dalam dataset, hal ini meningkatkan kecepatan iterasi bagi Anda dan kolaborator Anda. Untuk mempelajari lebih lanjut tentang deduplikasi di penyimpanan Xet, lihat Deduplikasi.

Update on GitHub