Suy luận từ xa

Các policy lớn cần GPU, và với rollout đồng bộ, robot sẽ dừng chuyển động mỗi khi policy tính toán chunk hành động tiếp theo. Remote inference chia công việc thành hai phần: một policy server chạy checkpoint trên GPU, và robot computer tiếp tục kiểm soát camera, động cơ, teleoperation và ghi hình. Robot tiếp tục thực thi các hành động mà nó đã có trong khi server tính toán các hành động tiếp theo, nhờ đó chuyển động không còn bị tạm dừng cho việc suy luận.

Sử dụng khi:

• máy tính nối với robot không có GPU, hoặc GPU quá nhỏ so với chính sách: một laptop hoặc máy tính đơn bảng đặt cạnh cánh tay và một trạm làm việc GPU ở phía bên kia phòng thí nghiệm;
• quá trình suy luận chiếm một phần đáng kể của mỗi khối hành động và bạn muốn chuyển động liên tục;
• bạn muốn quyết định tần suất robot lập kế hoạch lại mà không cần chạm vào checkpoint.

Điểm đánh đổi duy nhất bạn điều chỉnh là tính mới so với tính liên tục. Yêu cầu một kế hoạch mới sớm hơn cho phép robot phản ứng với những gì nó nhìn thấy; tiếp tục thực hiện phần lớn kế hoạch hiện tại giúp duy trì tiến độ của tác vụ.

Cách hoạt động

Máy tính của robot duy trì một bộ đệm chứa các hành động sắp tới. Khi bộ đệm sắp cạn, nó gửi một quan sát mới, tiếp tục di chuyển từ bộ đệm trong khi máy chủ tính toán, và ghép phần dữ liệu mới vào phần kế hoạch chưa được thực thi.

Ba cài đặt phía client định hình hành vi này. refill_seconds quyết định thời điểm yêu cầu kế hoạch tiếp theo, chunk_merge quyết định cách kế hoạch mới được ghép vào kế hoạch cũ, và blending làm mượt mối nối giữa chúng. Server chỉ cần checkpoint và mô tả về robot mà nó được huấn luyện cho. Các phần bên dưới bắt đầu từ một cấu hình hoạt động được và sau đó xây dựng trực giác cho từng cài đặt.

RTC cục bộ (--inference.type=rtc) là tùy chọn bất đồng bộ khác: suy luận chạy trong một luồng nền của tiến trình rollout, trên cùng một máy, không cần máy chủ. Suy luận từ xa trên cùng một host vẫn sử dụng hai tiến trình và --inference.type=remote, và cung cấp tính năng căn chỉnh và trộn cho các chính sách không có RTC. Xem mối quan hệ giữa RTC và suy luận từ xa.

Các chính sách và robot được hỗ trợ

Checkpoint có thể được phục vụ khi các bộ xử lý đã lưu của nó dự đoán một khối hành động từ một quan sát hiện tại duy nhất; ACT cần tắt temporal ensembling. Các checkpoint của ACT, SmolVLA, XVLA, EVO1 và LaWAM đã chạy trên robot thực thông qua đường dẫn này. Một số chính sách khác được hỗ trợ ở mức hợp đồng nhưng chưa được xác thực trên phần cứng, và các chính sách phụ thuộc vào lịch sử cần tích hợp bổ sung. Bảng hỗ trợ chính sách liệt kê trạng thái và các hạn chế của từng chính sách.

Trình điều khiển robot phải khai báo hỗ trợ giữ vị trí, vì client làm mới mục tiêu đã áp dụng cuối cùng trong khi chờ các hành động. SO, OMX, Koch, HopeJr, Rebot và các follower của YAM khai báo điều này; OpenArm, Reachy2 và các wrapper hai tay phụ thuộc vào cấu hình của chúng; Unitree G1 chỉ khai báo khi dùng bộ điều khiển SONIC, trong đó mục tiêu được giữ lại là token chuyển động cuối cùng; các cơ sở di động thì không. Xem bảng phần cứng. Các hợp đồng robot hoặc chính sách không được hỗ trợ sẽ bị từ chối ngay khi tiếp nhận, trước bất kỳ chuyển động nào.

Bắt đầu từ một rollout hoạt động

Giữ lại một lệnh lerobot-rollout đồng bộ thành công làm tham chiếu, và giữ nguyên các cài đặt về robot, camera, tác vụ, FPS, teleoperator và nội suy. Checkpoint và thiết bị mô hình sẽ chuyển sang máy chủ; client từ xa không tải trọng số.

Các ví dụ dưới đây mô tả một SO-101 chung với sáu cơ cấu chấp hành và một camera phía trước. Hãy điều chỉnh điểm kiểm tra, góc nhìn camera, thứ tự thành phần và đơn vị một cách đồng bộ.

1. Cài đặt trên cả hai máy tính

Cả hai phía đều cần phần mở rộng remote. Giữ các phần mở rộng phần cứng ở phía client và phần mở rộng của chính sách đã chọn ở phía server:

uv sync --locked --extra remote --extra core_scripts --extra feetech
# Add the policy extra on the server when required, for example --extra pi.

Phạm vi Zenoh được hỗ trợ là >=1.9.0,<1.11.0; uv sync --locked cài đặt phiên bản trong lockfile, hiện tại là 1.10.1.

2. Cấu hình và khởi động máy chủ

Sao chép cấu hình chung, sau đó chỉnh sửa nó:

cp examples/remote_inference/server.yaml server.yaml

Đặt model.repo_or_path và model.device. Đối với checkpoint trên Hub, hãy cố định model.revision tại commit mà bạn dự định xác thực. Đảm bảo features, action_feature, semantics, robot_type và execution.action_fps khớp với cấu hình làm việc của bạn; xem các ví dụ về schema và đổi tên camera bên dưới.

uv run --no-sync lerobot-policy-server --config_path=server.yaml

Máy chủ tải checkpoint, xác thực các khai báo của nó, chạy warmup và sau đó ghi log Policy server ready: deployment=<name> instance=<id>; awaiting one client. Mọi trường YAML đều chấp nhận ghi đè CLI lồng nhau:

uv run --no-sync lerobot-policy-server --config_path=server.yaml \
  --model.device=cuda \
  --execution.idle_timeout_s=10

3. Khởi động client robot

Trong một terminal khác, điều chỉnh các đối số phần cứng cho cùng một cấu hình:

uv run --no-sync lerobot-rollout \
  --inference.type=remote \
  --inference.endpoint=tcp/127.0.0.1:7447 \
  --inference.deployment=manipulation \
  --inference.mode=chunk \
  --inference.chunk_merge=aligned \
  --inference.semantics=so101-degrees-gripper-percent-v1 \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.use_degrees=true \
  --robot.cameras='{front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}' \
  --fps=30 \
  --task="pick up the cube" \
  --interactive=true

Sau khi được chấp nhận, nhập /start. /stop kết thúc lượt chạy; xem robot làm gì trong khi chờ hoặc dừng. Giữ nguyên các tùy chọn teleoperation và ghi hình từ rollout đang hoạt động của bạn. Không truyền --policy.path, các lệnh ghi đè model-device cục bộ hoặc cờ biên dịch cho client từ xa.

deployment chọn máy chủ và semantics đặt tên cho các đơn vị hành động đã được xác thực cùng thứ tự của chúng; cả hai đều phải khớp với cấu hình máy chủ. Ví dụ sử dụng các bậc tự do của khớp cơ thể và phạm vi kẹp tay đã được hiệu chuẩn từ 0 đến 100.

uv run --no-sync lerobot-policy-server --config_path=server.yaml \
  --zenoh.listen_endpoints='[tcp/172.18.133.214:7447]'

Chọn cách tiếp tục chuyển động

Khi một chunk mới đến, quan sát mà nó được tính toán từ đó đã hơi cũ, và robot đã di chuyển tiếp. Chế độ merge quyết định cách xử lý điều đó: phát chunk mới sau chunk cũ, bỏ qua các bước mà robot đã đi qua, hoặc làm mượt điểm nối.

Các cài đặt trong bảng này sử dụng tiền tố --inference.. Các khối dữ liệu thô mặc định được căn chỉnh với chế độ trộn bị vô hiệu hóa. Một mục tiêu đang được nội suy sẽ được cam kết và không thể thay thế.

Alignment loại bỏ các bước đến đã được cam kết. Blending lấy trung bình các mục tiêu tương lai chồng lấn. Interpolation thêm các lệnh động cơ trung gian giữa các điểm cuối. RTC thay đổi cách dự đoán được tạo ra. Không có phương pháp nào đảm bảo chuyển động mượt mà hay thao tác nắm thành công.

--inference.chunk_merge=aligned \
--inference.blend_steps=5 \
--inference.blend_weight=0.5 \
--inference.blend_components='[shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos]'

uv run --no-sync lerobot-policy-server --config_path=server.yaml \
  --execution.supported_modes='[rtc_guided]' \
  --execution.rtc.enabled=true \
  --execution.rtc.mode=guided \
  --execution.rtc.execution_horizon=15

Các tham số quan trọng

Các tùy chọn client bên dưới sử dụng tiền tố --inference. trừ khi có ghi chú khác. Các giá trị mặc định là giá trị khởi đầu, không phải là cam kết cho một robot cụ thể.

Refill hiệu quả là max(refill_seconds, recent maximum turnaround + 1 / fps). Turnaround bao gồm mã hóa, mạng, xếp hàng, suy luận và giải mã. Yêu cầu đầu tiên được chấp nhận cung cấp ước tính ban đầu; các ước tính sau đó sử dụng tối đa 100 mẫu trạng thái ổn định.

Do đó, Refill không phải là một chu kỳ yêu cầu cố định hay một số lượng hành động được thực thi đảm bảo. Kiểm tra refill được cấu hình và hiệu lực trong các log. Một ngưỡng bao phủ toàn bộ chân trời thực thi sẽ gây ra việc thay thế rất thường xuyên.

Những gì robot thực hiện trong khi chờ hoặc dừng

Trong một lần chờ được hỗ trợ, client làm mới target cuối cùng thực sự được driver áp dụng, bao gồm nội suy, cắt và kẹp. Trước lệnh đầu tiên, một tư thế đo được sẽ khởi tạo nó. Điều này dừng việc tiến triển quỹ đạo; robot vẫn có thể ổn định về phía target đó. Nó không tắt mô-men xoắn hay đảm bảo bất động. RTC cục bộ sử dụng cùng kiểu chờ có giới hạn trên các robot được hỗ trợ và báo lỗi ngay lập tức khi cạn kiệt ở nơi khác.

Khôi phục tình trạng thiếu dữ liệu sẽ loại bỏ một dự đoán cũ đang được xử lý và lấy một dự đoán mới từ một bản chụp được thực hiện sau khi quá trình chờ bắt đầu. Các kết quả cũ không thể khởi động lại chuyển động. Các gói tin và kết quả không thể sử dụng sẽ không làm gia hạn thời gian ân hạn. Việc chờ đợi thường xuyên cho thấy phạm vi bao phủ của việc phát hoặc độ trễ là không đủ.

Mất máy chủ hoặc mất kết nối không được tự động khôi phục. Các hành động được đệm hợp lệ có thể bị xả hết, sau đó hệ thống sẽ chờ cho đến khi hết thời gian ân hạn hoặc một hạn chót khác. Một khi sự hiện diện của máy chủ được quan sát là đã mất, phiên đó không thể tiếp tục khi kết nối được khôi phục; hãy khởi động lại rollout để tạo phiên mới. Trong quá trình xử lý văn bản, việc mất máy chủ được quan sát sẽ gây lỗi cho truy vấn.

Với việc thu thập quan sát và điều khiển bộ chấp hành hoạt động bình thường, việc tắt thiết bị cuối sẽ tuân theo --return_to_initial_position=true (mặc định), sau đó ngắt kết nối. Việc quay về sẽ đọc một quan sát đầy đủ, do đó sự cố camera kéo dài có thể ngăn chặn quá trình này. Một hành động thất bại hoặc việc áp dụng giữ thất bại sẽ ngăn chặn các chuyển động tiếp theo. Đặt tùy chọn thành false sẽ bỏ qua bước quay về, chứ không bỏ qua việc ngắt kết nối. Việc ngắt kết nối có thể giải phóng mô-men xoắn theo cấu hình của robot. Các lỗi thiết bị cuối sẽ thoát với mã trạng thái khác không sau khi dọn dẹp; một tiến trình bị giết cưỡng bức không thể đảm bảo việc dọn dẹp.

Tinh chỉnh một tác vụ hoạt động

Bắt đầu gần tham chiếu đồng bộ: thực thi một phần đáng kể của mỗi dự đoán, nhưng yêu cầu đủ sớm để che giấu độ trễ suy luận. Sau đó, đánh giá xem việc lập kế hoạch lại thường xuyên hơn có giúp ích không.

1. Trước tiên, hãy sử dụng alignment mà không dùng blending. Giữ nguyên FPS, interpolation và setup. Kiểm tra execution horizon, full turnaround và các request chậm.
2. Chọn phạm vi nạp lại có biên độ. Giữ đủ thời lượng phát cho một yêu cầu khác và sự biến thiên độ trễ, mà không cần thay thế kế hoạch liên tục.
3. Thêm một pha trộn ngắn ở nhịp độ đó. So sánh hoàn thành tác vụ, nắm/thả và va chạm riêng biệt. Một giá trị trung bình mượt mà của các kế hoạch không tương thích có thể bỏ qua đối tượng.
4. Chỉ yêu cầu sớm hơn khi có lợi ích. Việc tăng tần suất nạp lại có thể cải thiện độ phản hồi nhưng sẽ làm gián đoạn tiến trình hữu ích. Hãy quay lại nhịp độ ổn định nếu hiệu suất tác vụ giảm sút.
5. Thay đổi một cài đặt tại một thời điểm. Việc tăng thời gian chờ hoặc thời gian ân hạn không bổ sung các hành động còn thiếu. Giảm refill không phải là giải pháp phổ quát cho tình trạng cạn kiệt.

Với chân trời thực thi 0.8 s và sự căn chỉnh thành công ổn định, khoảng cách giữa các yêu cầu xấp xỉ 0.8 - effective_refill:

Điều này loại trừ các hiệu ứng khởi động, giữ, bão hòa và tick điều khiển. Một yêu cầu bắt đầu với 0.2 s còn lại và mất 0.1 s chỉ còn 0.1 s để trộn, tương đương ba bước ở 30 Hz. Do đó, nhịp gần đồng bộ có thể chỉ cần một khoảng trộn ngắn.

Đối với alignment và RTC, hãy kiểm tra thời lượng phát lại khả dụng sau khi cắt, không phải độ dài chunk danh định. Nếu suy luận mất 1 giây trong một dự đoán 1,67 giây, chỉ còn lại khoảng 0,67 giây. Một yêu cầu 1 giây khác không thể vừa; không giá trị refill nào khắc phục được điều đó. Hãy giảm thời gian xử lý, sử dụng horizon hỗ trợ dài hơn, hoặc xác thực tần số hành động khác.

Tuổi của nguồn bao gồm cả thời gian thực thi. Đối với chế độ append, hãy cho phép khoảng execution horizon + effective refill cộng thêm biên độ cho capture/inference. Một chunk 100 bước ở 30 Hz đã trải dài 3,33 giây. Việc căn chỉnh thường làm giảm tuổi, nhưng việc trộn lặp lại có thể giữ lại các thành phần cũ hơn.

Đọc nhật ký và chẩn đoán một lần chạy

Nhật ký INFO hiển thị các cài đặt tiếp nhận và hiệu lực, kết quả của yêu cầu văn bản, các chuyển đổi chờ/tắt máy và một bản tóm tắt hoạt động khoảng mỗi năm giây. Đọc thời gian xử lý và phát hàng đợi cùng nhau. Để biết chi tiết, hãy dùng --log_level=DEBUG trên máy chủ và --inference.log_level=DEBUG trên máy khách. Các phiên tương tác sẽ tắt tiếng các nhật ký máy khách dưới mức ERROR; hãy dùng một lần chạy không tương tác khi thu thập nhật ký thời gian trực tiếp.

Khi lưu nhật ký, hãy dùng 2>&1 | tee -i server.log (hoặc client.log). Tham số -i giúp tee tiếp tục chạy khi Ctrl+C tác động lên toàn bộ pipeline, nhờ đó vẫn ghi lại được các thông báo tắt an toàn.

DEBUG bao gồm quá trình phát lại của mỗi yêu cầu tại thời điểm gửi, tuổi quan sát và tiến độ con trỏ, cùng các bước đã cắt/xử lý được và mức độ chồng chéo cho từng kết quả. Những thông tin này mô tả tiến độ được chỉ định, không phải quá trình thực thi vật lý được đo lường.

Cấu hình và mạng

Giữ một tệp YAML triển khai duy nhất cho checkpoint, schema robot và cài đặt máy chủ; sử dụng các lệnh CLI lồng nhau để ghi đè cho các thí nghiệm. Gán tên triển khai khác nhau cho các thí nghiệm độc lập. Cả hai tiến trình đều ghi log phiên bản gói và giao thức; bước chấp nhận kiểm tra giao thức cùng các hợp đồng thực thi/dữ liệu, mà không yêu cầu phiên bản gói phải giống hệt nhau.

features:
  - name: observation.state
    shape: [6]
    dtype: float32
    names:
      [
        shoulder_pan.pos,
        shoulder_lift.pos,
        elbow_flex.pos,
        wrist_flex.pos,
        wrist_roll.pos,
        gripper.pos,
      ]
    semantics: so101-degrees-gripper-percent-v1
  - name: observation.images.front
    shape: [480, 640, 3]
    dtype: uint8
    kind: rgb
    semantics: rgb-front-table-v1

zenohd --config examples/remote_inference/zenoh/router.json5

uv run --no-sync lerobot-policy-server --config_path=server.yaml \
  --zenoh.mode=client \
  --zenoh.listen_endpoints='[]' \
  --zenoh.connect_endpoints='[tls/localhost:7447]' \
  --zenoh.config_file=examples/remote_inference/zenoh/server.json5

--inference.endpoint=tls/localhost:7447 \
--inference.zenoh_mode=client \
--inference.zenoh_config_path=examples/remote_inference/zenoh/robot.json5

LEROBOT_ZENOHD=/absolute/path/to/zenohd \
  uv run --no-sync pytest tests/remote_inference/test_zenoh.py -q -rs

Ngôn ngữ và thu âm

Sử dụng /vqa, /subtask và /autosteer thông qua interactive rollout. Chỉ bật language.enabled=true trên checkpoint có triển khai text generation; autosteering ngoài ra còn cần một checkpoint được huấn luyện cho subtask generation với goal/subtask prompting tương thích. Server sẽ hiển thị các lệnh này khi checkpoint khai báo khả năng tương ứng; việc các câu trả lời và subtask có hữu ích hay không phụ thuộc vào checkpoint.

Thao tác văn bản sẽ tạm dừng chuyển động và loại bỏ phần tiếp theo đã được đệm. VQA giữ lại chỉ lệnh của bạn và tiếp tục với một dự đoán mới, do đó robot có thể mất tiến độ tác vụ khi lập kế hoạch lại, ngay cả sau khi đã trả lời thành công. Việc giữ cho chuyển động đã đệm tiếp tục chạy trong khi truy vấn VQA mang tính thông tin đang được lên kế hoạch; xem công việc tương lai.

Quá trình ghi hình sử dụng định dạng tập dữ liệu cục bộ thông thường. Nhãn tác vụ tuân theo hành động được thực thi. Thông tin chẩn đoán được giữ trong nhật ký ứng dụng; chúng không được ghi vào tập dữ liệu hoặc tải lên. Khi có tập dữ liệu, hãy dùng --dataset.single_task cho chỉ thị ban đầu; nếu không, hãy dùng --task. Nên ưu tiên một trong hai để tránh xung đột cấu hình.

Sử dụng từ Python

Các engine và cấu hình dùng chung nằm trong lerobot.inference; client từ xa, engine và server nằm trong lerobot.remote_inference. Một vòng lặp điều khiển bên ngoài lerobot-rollout sẽ kết nối và chấp nhận một client, bọc nó trong một engine, phát các bản ghi và điều phối mọi nhịp motor thông qua dispatch_tick, áp dụng cùng hợp đồng về quyền, giữ và xác nhận như CLI:

import time

import numpy as np

from lerobot.inference import RemoteInferenceConfig, dispatch_tick
from lerobot.remote_inference import RemoteClient, RemoteInferenceEngine
from lerobot.utils.action_interpolator import ActionInterpolator

config = RemoteInferenceConfig(
    endpoint="tcp/127.0.0.1:7447",
    deployment="manipulation",
    semantics="so101-degrees-gripper-percent-v1",
)
client = RemoteClient.connect(config)
caps = client.capabilities
client.admit(
    features=caps.features,
    action_feature=caps.action_feature,
    semantics=config.semantics,
    action_interval=caps.action_interval,
    mode=config.mode,
)
engine = RemoteInferenceEngine(client, config, task="pick up the cube")
interpolator = ActionInterpolator(multiplier=1)

engine.start()
engine.resume()
try:
    while running():
        captured = time.monotonic()
        engine.submit_observation(
            {"observation.state": state_vector(), "observation.images.front": front_rgb()},
            capture_time=captured,
        )
        # send() receives a torch tensor in the deployment's action order; hold() refreshes
        # the last applied target. Returns None when the tick was held or starved.
        dispatch_tick(engine, interpolator, send=robot_send, hold=robot_hold)
finally:
    engine.stop()  # revokes motion and closes the client

Các quan sát được lập chỉ mục theo tên tính năng hướng checkpoint và phải khớp với schema của máy chủ: các vector float32 theo thứ tự thành phần đã khai báo, các ảnh RGB uint8 có kích thước đã khai báo. tests/remote_inference/test_library_client.py chạy luồng này đối với một máy chủ loopback và là tham chiếu cho trình tự gọi. lerobot-rollout bổ sung thêm chuyển đổi driver, kiểm tra giữ vị trí, các lệnh tương tác và ghi hình trên cơ sở đó; lerobot-policy-server là điểm vào phục vụ và chỉ được cấu hình thông qua các ghi đè YAML và CLI của nó.

Về kiến trúc, các hợp đồng thực thi và các phần mở rộng được lên kế hoạch, hãy xem tham chiếu thiết kế kỹ thuật.