懒人福音，谷歌让机器训练机器，用大语言模型定制专属于你的家务机器人

能根据你的喜好定制的家务机器人，来了！

想把深色衣服和浅色衣服分开洗？没问题，机器人分分钟就能帮你分好类：

被垃圾分类的问题搞得焦头烂额？没关系，也交给机器人来做：

总之，分类识别、定向放置…… 一切都凭你的习惯。

更关键的是，利用大语言模型，不需要大量数据，也无需场景化学习，几句话就能轻松调教。

这款整理机器人名为 TidyBot，由谷歌与美国多所高校联合打造，通讯作者来自普林斯顿大学。

让机器训练机器

对于物品整理机器人的定制，最难的一环就是用户偏好的分析。

传统上，这类信息需要通过海量的数据分析才能得到。

而 TidyBot 是使用 LLM 分析用户喜好信息的。

用户给出的具体实例，比如依据颜色将不同服饰分别放入衣柜和抽屉，会被转换成 Python 风格的 LLM 提示信息。

objects = ["yellow shirt", "dark purple shirt", "white socks", "black shirt"]receptacles = ["drawer", "closet"]pick and place("yellow shirt", "drawer")pick and place("dark purple shirt", "closet")pick and place("white socks", "drawer")pick and place("black shirt", "closet")# Summary:

最后的概述是由 LLM 反馈的，具体到这个例子当中，LLM 生成了如下结论：

# Summary: Put light-colored clothes in the drawer and dark-colored clothes in the closet.

该结论在接下来的环节中会被用于判定未知物品应该被放到哪里，前一步的输出结果在这里作为提示的开头。

# Summary: Put light-colored clothes in the drawer and dark-colored clothes in the closet.objects = ["black socks", "white shirt", "navy socks", "beige shirt"]receptacles = ["drawer", "closet"]pick and place"black socks",

然后，LLM 会输出几个新颜色衬衫和袜子的放置位置。

pick and place("black socks", "closet")pick and place("white shirt", "drawer")pick and place("navy socks", "closet")pick and place("beige shirt", "drawer")

除了放置的位置，LLM 也能分析其他操作信息，比如是需要“放”还是“扔”（下方 Summary 中的内容由 LLM 生成）。

objects = ["yellow shirt", "dark purple shirt", "white socks", "black shirt"]pick and place("yellow shirt")pick and place("dark purple shirt")pick and toss("white socks")pick and place("black shirt")# Summary: Pick and place shirts, pick and toss socks.

同样的，使用 LLM 总结出的信息可以判断应对未知物体执行何种操作。

# Summary: Pick and place shirts, pick and toss socks.objects = ["black socks", "white shirt", "navy socks", "beige shirt"]#以下为LLM输出结果：pick and toss("black socks")pick and place("white shirt")pick and toss("navy socks")pick and place("beige shirt")

其他动作信息原理也都相同。

有了 LLM 给出的信息，接下来就要应用到实际工作中了。

TidyBot 的系统中预置了很多物品的分类标签，LLM 指令的执行方式也已经由程序设定。

TidyBot 首先让图像识别模块判断出物品的基本信息，然后传给 LLM 生成指令，并交付执行。

△TidyBot 工作流程示意图

由于只有极少量的数据需要进行区分，TidyBot 具有很强的鲁棒性。

同时，它能对来自任意用户的任何物品进行分类，又有很强的灵活性。

基准测试成绩亮眼

除了 TidyBot 本身，测试基准数据集也是该团队的另一重要贡献。

该数据集包含了 96 组以文本形式描述的任务场景，具体包括已知和未知操作方式的物品和相应的容器。

在每个场景中，容器的数量为 2-5 个，已知操作方式的物品数量为 4-10 个，未知物品数量与已知相同。

这 96 个场景涵盖了客厅、卧室、厨房和储藏室四种房间类型，每个类型 24 组。

实际环境中，由于对物品分类的方式多种多样，团队分别从不同分类角度对 TidyBot 的表现进行了测试，具体包括：

• 物品大类，如“服装”和“玩具”

• 物品属性，如“金属材质”和“塑料材质”

• 物品功能，如“夏装”和“冬装”

• 物品子类，如“衬衫”和“其他服装”

• 复合类型，如“图书和玩具”

整体上，TidyBot 的准确率达到了 91.2%，超过了 WordNet、RoBERTa 等其他方式。

具体分类角度上的结果也是如此。

上述数据只是在理论层面对 TidyBot 的分类能力进行测试。

在实际应用中，TidyBot 的表现同样不俗。

团队一共搭建了 8 个真实场景。

每个场景各包括 10 件物品、2-5 个容器和 4-10 条已知信息。

每个场景都进行了重复测试，最终各测试了 3 次，即一共 10*8*3=240 次操作。

在这 240 次操作中，TidyBot 的正确率达到了 85%。

论文地址：

https://arxiv.org/abs/2305.05658

项目主页：

https://tidybot.cs.princeton.edu/

GitHub 页面：

https://github.com/jimmyyhwu/tidybot/

本文来自微信公众号：量子位 （ID：QbitAI），作者：克雷西

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。