LeRobot documentation
工具
工具
LeRobot 支持在策略中使用 工具调用 — 助手消息可以发出结构化调用，例如 say(text="OK, starting now")，运行时会将这些调用分派到实际的实现（TTS、控制器、日志记录器等）。
本页涵盖：
- 工具目录的存放位置。
- 标注流水线如何生成工具调用原子。
- 如何添加您自己的工具。
声明工具的位置
两层。
目录——一个 OpenAI 风格的函数模式列表——位于每个数据集的 meta/info.json["tools"] 中。示例：
{
"features": { "...": "..." },
"tools": [
{
"type": "function",
"function": {
"name": "say",
"description": "Speak a short utterance to the user via the TTS executor.",
"parameters": {
"type": "object",
"properties": {
"text": {
"type": "string",
"description": "The verbatim text to speak."
}
},
"required": ["text"]
}
}
}
]
}通过数据集元数据访问器读取：
from lerobot.datasets.dataset_metadata import LeRobotDatasetMetadata
meta = LeRobotDatasetMetadata(repo_id="pepijn/super_poulain_final_annotations")
tools = meta.tools # list[dict] — OpenAI tool schemas如果数据集的 info.json 未声明任何工具，meta.tools 将返回来自 lerobot.datasets.language 的 DEFAULT_TOOLS —— 目前这是一个包含单个条目的列表，其中包含标准的 say 模式。因此，未标注的数据集和聊天模板使用者无需任何配置即可继续正常工作：
prompt_str = tokenizer.apply_chat_template(
sample["messages"],
tools=meta.tools, # works either way
add_generation_prompt=False,
tokenize=False,
)实现——可运行的 Python 代码——将位于 src/lerobot/tools/ 目录下，每个工具对应一个文件。运行时调度器以及标准的 say 实现（封装了 Kyutai 的 pocket-tts）不属于此处描述的目录层；目前该层仅提供模式存储和 DEFAULT_TOOLS 回退常量。
按行调用工具
上述目录描述了可以调用什么。实际的调用——即函数名加上参数值——按行存储在language_events中的 assistant 原子中：
{
"role": "assistant",
"content": null,
"style": null,
"timestamp": 12.4,
"camera": null,
"tool_calls": [
{ "type": "function",
"function": { "name": "say", "arguments": { "text": "On it." } } }
]
}Recipes 通过 tool_calls_from 将这些内容拼接到渲染后的消息中：
user_interjection_response:
bindings:
speech: "emitted_at(t, role=assistant, tool_name=say)"
messages:
- { role: user, content: "${task}", stream: high_level }
- {
role: assistant,
content: "${current_plan}",
stream: high_level,
target: true,
tool_calls_from: speech,
}模型的训练目标是包含计划文本 以及 say 工具调用的单个助手轮次。在推理时，运行时会将生成的文本解析回结构化的 tool_calls，并分派给对应的实现。
如何添加您自己的工具
注意： 下面的步骤 2 和 3 描述的是运行时层（
src/lerobot/tools/、Tool协议、TOOL_REGISTRY、get_tools(meta)），该层不属于当前发布的目录层——这些模块在代码树中尚不存在。仅步骤 1 就足以让工具通过meta.tools对聊天模板可见，从而使模型能够学习如何生成调用；在推理时执行该调用则需要运行时层。
三个步骤。具体示例：策略可以调用 record_observation 工具，在常规控制循环之外捕获额外的观测值。
步骤 1 — 声明模式
在运行标注流水线之前，直接在磁盘上编辑文件，在 meta/info.json["tools"] 下添加一个条目（该条目会被保留）。
{
"tools": [
{ "type": "function", "function": { "name": "say", "...": "..." } },
{
"type": "function",
"function": {
"name": "record_observation",
"description": "Capture a high-resolution still image for the user.",
"parameters": {
"type": "object",
"properties": {
"label": {
"type": "string",
"description": "Short label for the saved image."
}
},
"required": ["label"]
}
}
}
]
}该架构完全遵循 OpenAI 的函数调用约定，因此聊天模板可以原生地对其进行渲染。
步骤 2 — 实现调用
创建 src/lerobot/tools/record_observation.py：
from .base import Tool
from typing import Any
RECORD_OBSERVATION_SCHEMA: dict[str, Any] = { "...": "..." } # mirrors the JSON above
class RecordObservationTool:
name = "record_observation"
schema = RECORD_OBSERVATION_SCHEMA
def __init__(self, schema: dict | None = None, output_dir: str = "."):
self.output_dir = output_dir
def call(self, arguments: dict) -> str:
label = arguments["label"]
# ... save the latest camera frame to <output_dir>/<label>.png ...
return f"saved {label}.png"每个工具对应一个文件，从而保持依赖项的隔离——record_observation 可能会引入 pillow，而 say 则会引入 pocket-tts。仅安装所需工具的用户可以避免沉重的传递依赖。
步骤 3 — 注册
在 src/lerobot/tools/registry.py 中添加：
from .record_observation import RecordObservationTool
TOOL_REGISTRY["record_observation"] = RecordObservationTool就是这样。在运行时，get_tools(meta) 会在 meta.tools 中查找每个 schema，实例化与之匹配的已注册类，并返回一个名称 → 实例的字典，供调度器进行路由。
If you want to use a tool without writing an implementation (e.g. for training-time chat-template formatting only), step 1 alone is enough — the model still learns to generate the call. Steps 2 and 3 are only needed to actually execute it at inference.
Update on GitHub