Документация Hugging Face Hub

Hugging Face Hub — это эталонная ИИ-платформа для открытого машинного обучения. На ней размещено более 2 млн моделей, 1,5 млн наборов данных и 1,5 млн ИИ-приложений (Spaces), все они открыты и доступны публично. Помимо открытого ИИ, Hub также является отличной платформой для совместной работы внутренних и частных команд. Исследуйте, экспериментируйте, сотрудничайте и создавайте — всё в одном месте! 🤗

Что такое Hugging Face Hub?

Мы помогаем сообществу совместно работать над целью продвижения машинного обучения 🔥.

Ни одна компания, включая технологических гигантов, не сможет «решить проблему ИИ» в одиночку – единственный путь к этому – обмен знаниями и ресурсами в рамках сообщества. Мы создаём крупнейшую коллекцию открытых моделей, наборов данных и демонстраций на Hugging Face Hub, чтобы сделать машинное обучение доступным и продвинуть его для всех 🚀.

Мы рекомендуем вам ознакомиться с Кодексом поведения и Руководством по контенту, чтобы узнать о ценностях, которых мы ожидаем от участников нашего сообщества 🤗.

Что можно найти на Hub?

Hugging Face Hub размещает репозитории на базе Git, представляющие собой папки с контролем версий, которые могут содержать все ваши файлы. Для неизверсионированного изменяемого хранилища объектов Hub также предлагает Storage Buckets.

Там вы сможете загружать и находить…

• Модели: хостинг новейших передовых моделей для задач LLM, текста, зрения и аудио
• Наборы данных: содержат широкий спектр данных для различных областей и модальностей
• Spaces: интерактивные приложения для демонстрации ML-моделей прямо в вашем браузере

Hub предлагает версионирование, историю коммитов, диффы, ветки и более десятка интеграций с библиотеками! Все репозитории построены на Xet — новой технологии для эффективного хранения больших файлов внутри Git, которая интеллектуально разбивает файлы на уникальные блоки и ускоряет загрузку и скачивание.

Подробнее о функциях, общих для всех репозиториев, вы можете узнать в документации по репозиториям.

Модели

Вы можете находить и использовать десятки тысяч открытых моделей машинного обучения, которыми делится сообщество. Чтобы содействовать ответственному использованию и разработке моделей, репозитории моделей оснащены Model Cards, которые информируют пользователей об ограничениях и предвзятости каждой модели. Можно также добавить дополнительные метаданные с информацией о задачах, языках и результатах оценки, а при наличии в репозитории TensorBoard traces — даже графики метрик обучения. Кроме того, к вашей модели легко добавить виджет инференса, что позволит любому пользователю взаимодействовать с моделью прямо в браузере! Для программного доступа предоставляется serverless API от Inference Providers.

Чтобы загрузить модели в Hub или скачать модели и интегрировать их в свою работу, ознакомьтесь с документацией по моделям. Также вы можете выбрать одну из более чем дюжины библиотек, таких как 🤗 Transformers, Asteroid и ESPnet, которые поддерживают Hub.

Наборы данных

Hub содержит более 500 тыс. публичных наборов данных на более чем 8 тыс. языков, которые можно использовать для широкого круга задач в области NLP, Computer Vision и Audio. Hub упрощает поиск, загрузку и публикацию наборов данных. Наборы данных сопровождаются подробной документацией в виде Dataset Cards и Data Studio, что позволяет исследовать данные непосредственно в браузере. Хотя многие наборы данных являются публичными, организации и отдельные лица могут создавать закрытые наборы данных для соответствия требованиям лицензирования или конфиденциальности. Подробнее о Datasets в документации Hugging Face Hub.

Библиотека 🤗 datasets позволяет программно работать с наборами данных, что упрощает их использование из Hub в ваших проектах. Всего одной строкой кода вы получаете доступ к наборам данных; даже если они настолько велики, что не помещаются в память вашего компьютера, вы можете использовать стриминг для эффективного доступа к данным.

Spaces

Spaces — это простой способ размещать демонстрационные приложения на базе ML в Hub. Они позволяют создавать портфолио ML-проектов, представлять свои работы на конференциях или заинтересованным сторонам, а также совместно работать с другими участниками ML-экосистемы.

В настоящее время мы поддерживаем две отличные Python-библиотеки (Gradio и Streamlit), которые позволяют за несколько минут создать интересное приложение. Пользователи также могут создавать статические Spaces — простые страницы на HTML/CSS/JavaScript, — или развертывать любое приложение на базе Docker.

Если вам нужна вычислительная мощность GPU для ваших демонстраций, попробуйте ZeroGPU: он динамически предоставляет GPU NVIDIA RTX Pro 6000 Blackwell в реальном времени, только когда это необходимо.

After you’ve explored a few Spaces (take a look at our Space of the Week!), dive into the Spaces documentation to learn all about how you can create your own Space. You’ll also be able to upgrade your Space to run on a GPU or other accelerated hardware. ⚡️

Бuckets для хранения

Storage Buckets предоставляют объектное хранилище, похожее на S3, на Hugging Face, работающее на базе системы хранения Xet. В отличие от репозиториев (которые основаны на git и отслеживают историю файлов), бакеты представляют собой удалённые контейнеры объектного хранилища, предназначенные для работы с файлами большого размера с дедупликацией на основе контрольных сумм содержимого. Они созданы для сценариев, где требуется простое, быстрое и изменяемое хранилище, например, для сохранения контрольных точек обучения, журналов, промежуточных артефактов или любых больших коллекций файлов, не требующих контроля версий.

Организации

Компании, университеты и некоммерческие организации являются неотъемлемой частью сообщества Hugging Face! На Hub доступны Организации, которые позволяют группировать аккаунты и управлять наборами данных, моделями и Spaces. Преподаватели также могут создавать совместные организации для студентов с помощью Hugging Face for Classrooms. Репозитории организации отображаются на её странице, и каждый член организации может вносить вклад в репозиторий. Помимо удобной группировки всех работ организации, Hub позволяет администраторам назначать роли для управления доступом к репозиториям и управлять способом оплаты и информацией о выставлении счетов своей организации. Машинное обучение становится интереснее при совместной работе! 🔥

Просмотрите существующие организации, создайте новую организацию здесь, а затем ознакомьтесь с документацией по организациям.

Безопасность

Hugging Face Hub поддерживает функции безопасности и управления доступом, чтобы вы могли быть уверены в безопасности вашего кода, моделей и данных. Перейдите в раздел Безопасность в этой документации, чтобы узнать о:

• Токены доступа пользователя
• Управление доступом для организаций
• Подписание коммитов с помощью GPG
• Сканирование на вредоносное ПО

Update on GitHub