LaWAM

lawam, dinamiklere duyarlı robot politikaları için gizli dünya eylem modeli olan LaWAM'ın LeRobot adaptörüdür. Qwen3-VL omurgasını, gizli eylem/dünya modelini ve akış eşleştirme eylem başlığını bir araya getirirken standart LeRobot politika, eğitim ve değerlendirme arayüzlerini sunar.

Kaynaklar:

Kurulum

LaWAM ekstrası ile LeRobot'u yükleyin:

pip install -e ".[lawam]"

Yayınlanan LaWAM LIBERO değerlendirmesini yeniden üretirken LIBERO benchmark bağımlılıklarını yükleyin ve MuJoCo'yu 3.3.2 sürümüne sabitleyin:

pip install -e ".[lawam,libero]" "mujoco==3.3.2"

LIBERO benchmark başarı oranları, MuJoCo simülatör sürümüne duyarlıdır. Daha yeni MuJoCo sürümleri, LaWAM dışındaki politikalar dahil olmak üzere, ölçülen LIBERO başarı oranlarını önemli ölçüde düşürebilir. Bu, bir LaWAM adaptör sorunu değil, bir değerlendirme ortamı uyumluluk sorunudur. Yayınlanan LaWAM LIBERO ve makale sonuçlarını tam olarak yeniden üretmek için mujoco==3.3.2 kullanın.

LaWAM checkpoint'leri LeRobot'un yerel model.safetensors biçimini kullanır. Tam LAM, VLM adaptörü ve flow-head durumu policy.path üzerinden geri yüklenir; orijinal LaWAM .pt dosyaları adaptör tarafından yüklenmez. LAM ve DINOv3 mimarileri doğrudan LaWAMConfig tarafından temsil edilir ve ayrı checkpoint indirmeleri gerektirmez.

policy.base_vlm değerini taşınabilir Hub model kimliği olarak ayarlayın. Hugging Face’in standart önbellek ayarları, örneğin HF_HOME, Qwen dosyalarının yerel olarak nerede saklanacağını belirler; bu sayede politika veya işleyici yapılandırmasına makineye özgü yollar eklenmez.

İnce Ayar

Yerel önceden eğitilmiş LaWAM politikasından ince ayar yapın:

lerobot-train \
  --policy.path=jialei02/lawam-pretrain-lerobot \
  --dataset.repo_id=jialei02/libero_merged_no_noops_20hz \
  --dataset.image_transforms.enable=false \
  --rename_map='{"observation.images.wrist_image":"observation.images.image2"}' \
  --policy.action_horizon=8 \
  --policy.n_action_steps=8 \
  --policy.clip_normalized_actions=true \
  --policy.pre_snap_gripper_action=true \
  --policy.binarize_gripper_action=true \
  --policy.repo_id=your_org/lawam_sft

Adaptör, LaWAM eğitim topluluklarını oluşturmadan önce eylem ve durum normalizasyonu için LeRobot veri seti istatistiklerini kullanır. Durum (pose) eylemleri min-max normalizasyonu kullanırken, LIBERO tarifi, yerel LaWAM eğitim sözleşmesine uyum sağlamak için kavrama (gripper) kanalını açıkça ikili 0/1 değerlerine sabitler. Bu, hem -1/+1 hem de 0/1 veri seti sözleşmelerini aynı model hedeflerine eşler. Ön eğitilmiş kontrol noktası, action_horizon=24 ve n_action_steps=24 ön eğitim değerlerini korur; LIBERO SFT tarifi, chunk_size=50 değerini dolgulu (padded) Flow dizisi uzunluğu olarak koruyarak her ikisini de 8 olarak geçersiz kılar. Eğitim, LaWAM'ın doğal zaman kodlaması için mevcut veri seti FPS'ini kullanır ve işlemci (processor), bu sıklığı bir değerlendirme yedeği olarak kalıcı hale getirir. policy.num_video_frames, gözlem kare penceresini kontrol eder.

Yayınlanan LaWAM ön eğitimi ve LIBERO SFT tarifleri rastgele görüntü artırmayı kullanmaz. Politika işleyicisi, Qwen ve LAM omurgaları tarafından gerekli olan yalnızca deterministik yeniden boyutlandırmayı ve ImageNet normalizasyonunu uygular. LeRobot’un veri seti düzeyindeki görüntü dönüşümleri, ayrı tasarlanan eğitim tarifleri için kullanılabilir kalmaya devam eder.

Yayınlanan LaWAM checkpoint'ları, içsel olarak 32 boyutlu dolgulu bir eylem/durum uzayı kullanır. Farklı akış boyutlarıyla bir checkpoint eğitmediyseniz policy.flow_action_dim=32 ve policy.flow_state_dim=32 değerlerini koruyun.

Değerlendirme

Standart değerlendirici aracılığıyla yerel LIBERO SFT kontrol noktasını değerlendirin:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --env.type=libero \
  --env.task=libero_object \
  --eval.n_episodes=10

Hub deposu, normalizasyon tensörleri ve LIBERO gripper işleme dahil olmak üzere politika yapılandırması ile tam ön işleyici ve son işleyici hatlarını içerir.

Yayınlanan LIBERO SFT kontrol noktasıyla tekrarlanabilir bir LIBERO benchmark çalışması için, tüm suite'leri ve görev kimliklerini tek bir çağrıda değerlendirin:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --policy.device=cuda \
  --env.type=libero \
  --env.task=libero_spatial,libero_object,libero_goal,libero_10 \
  --env.task_ids='[0,1,2,3,4,5,6,7,8,9]' \
  --eval.n_episodes=50 \
  --output_dir=outputs/lawam_libero

Her süitteki 10 görevin tamamı için başarı oranlarını raporlayın. Benchmark sayılarını raporlarken görev başına en az 50 bölüm kullanın.

Yayınlanan LIBERO SFT checkpoint için 50 epizot/görev referans sonuçları. Bu sayılar MuJoCo 3.3.2 ile üretilmiştir. Ortam kontrolü olarak, libero_spatial görevi 5, MuJoCo 3.8.1 ile 18/50 başarıdan MuJoCo 3.3.2 ile 47/50 başarıya yükselmiştir.

Kamera Seçimi

LaWAM checkpoint'ları, image2 gibi adlardan anlam çıkararak değil, birincil ve bilek kamera rollerini açıkça saklar. Yeni bir çok kameralı LaWAM politikası oluştururken her iki rolü de yapılandırın:

--policy.primary_image_features='["observation.images.front"]' \
--policy.wrist_image_features='["observation.images.wrist"]'

policy.lam_image_feature, latent action model tarafından tüketilen zaman dilimi karelerine sahip birincil kamerayı seçer. Varsayılan olarak yapılandırılan ilk birincil kameradır ve politika yapılandırması kaydedildiğinde açıkça yazılır.

Çalışma Zamanı Alanları

LaWAM'a özgü yaygın politika alanları:

Atıf

@misc{chen2026lawam,
  title = {LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies},
  author = {Chen, Jialei and Wang, Kai and Chen, Kang and Chen, Shuaihang and Gao, Feng and Tang, Wenhao and Li, Zhiyuan and Liu, Weilin and Yao, Zhuyu and Li, Boxun and Xu, Yuanbo and Yu, Chao},
  journal = {arXiv preprint arXiv:2606.15768},
  year = {2026},
  archiveprefix = {arXiv},
  primaryclass = {cs.RO},
}