LeRobot documentation
LeRobot
LeRobot
Передовое машинное обучение для робототехники в реальных условиях
🤗 LeRobot предоставляет аппаратно-независимый, нативный для Python интерфейс для управления реальными роботами — от доступных манипуляторов, таких как SO-ARM101, до полноценных гуманоидов. Кроме того, в библиотеку входят инструменты для записи, хранения и обмена наборами данных, которые они генерируют. Каждый набор данных использует стандартизированный формат LeRobotDataset (синхронизированное видео + данные действий/состояния) и может передаваться напрямую из Hugging Face Hub.
🤗 На основе этих данных LeRobot реализует передовые политики — от лёгких моделей имитационного обучения, таких как ACT, до крупных vision-language-action моделей, таких как π₀ и SmolVLA, — все они обучаемы, доступны для обмена и развёртывания с помощью одного и того же набора команд CLI.
Цель: снизить порог входа в робототехнику, чтобы каждый мог вносить вклад в общие наборы данных и предобученные модели и извлекать из них пользу.
Как это работает
Телеуправление → Запись → Обучение → Развёртывание
- Управление с пульта — управляйте роботом самостоятельно (с помощью ведущей руки, клавиатуры или телефона), чтобы он мог обучаться на основе ваших движений.
- Record — каждая демонстрация сохраняется в виде набора данных: синхронизированное видео с камеры и выполненные вами действия.
- Обучение — политика (нейросеть, которая будет управлять роботом) учится имитировать ваши демонстрации.
- Развёртывание — запуск обученной политики на роботе и наблюдение за тем, как он самостоятельно выполняет задачу.
Начало работы
Новичок? Посмотрите, как выглядит набор данных LeRobot, прежде чем что-либо устанавливать:
Откройте lerobot/svla_so101_pickplace в LeRobot Dataset Visualizer, чтобы посмотреть записи с камер рядом с состоянием и действиями робота, кадр за кадром, без необходимости устанавливать что-либо. Это работает для любого набора данных LeRobot на Hub, включая ваши собственные. См. как им пользоваться.
Готовы попробовать сами? Установите LeRobot, затем выберите свой путь:
LeRobot поддерживает широкий спектр манипуляторов и мобильных роботов. Популярные варианты:
- SO-101 — наша флагманская недорогая рука
- LeKiwi — мобильная база с манипулятором сверху
- Koch v1.1 — давно полюбившийся сообществу вариант
- или найдите своего в разделе Robots в боковой панели
После сборки и калибровки запишите набор данных и обучите свою первую политику с помощью руководства по имитационному обучению — или полностью обойдите CLI, используя LeLab, браузерный GUI для того же рабочего процесса.
Вы по-прежнему можете обучать и оценивать политики, не имея робота:
- изучить любой набор данных в Dataset Visualizer
- обучение на существующем наборе данных LeRobot из Hub
- оценивать в симуляции, по бенчмаркам, таким как LIBERO или Meta-World
- попробуйте бесплатные ноутбуки Colab — ничего устанавливать не нужно
Начните с руководства по внесению вклада, затем добавьте новую политику или привнесите собственное оборудование.
Изучите документацию
Каждая команда LeRobot CLI, готовая к копированию и вставке.
Какая политика подходит для вашего GPU и сколько времени займет обучение.
Загружайте, транслируйте и визуализируйте наборы данных роботов из Hub.
Веб-интерфейс для калибровки, записи и обучения — без необходимости использовать CLI.
Начните с ACT, нашей рекомендуемой первой политики, — или просмотрите SmolVLA, π₀ и другие в боковой панели.
Обучайте и оценивайте модели на симулированных бенчмарках, таких как LIBERO, прежде чем переходить к работе с реальным оборудованием.
Частые проблемы
Возникли проблемы? Вот несколько самых частых:
- Размытая или непригодная видеозапись с камеры - освещение важнее разрешения. См. Размещение камеры и освещение.
- Ошибки сборки или установки (
cmake,ffmpeg, CUDA) — см. раздел «Устранение неполадок» в руководстве по установке. - Не уверены, какая политика подходит для вашего GPU — загляните в Руководство по вычислениям и оборудованию.
- Всё ещё застряли? Задайте вопрос в Discord — сообщество (и команда LeRobot) готово помочь.