腹地 GPU 运行，7B 系统 2 模子 + 80M 系统 1 模子，可多机器东说念主共用「大脑」。

在 2 月份转眼通知闭幕与 OpenAI 合作之后，有名机器东说念主初创公司 Figure AI 在本周四晚公开了背后的原因：他们也曾造出了我方的通用具身智能模子 Helix。

Helix 是一个通用的视觉 - 说话 - 动作（VLA）模子，它合资了感知、说话连气儿和学习限度，以克服机器东说念主技艺中的多个恒久挑战。

Helix 创造了多项第一：

全身限度：它是历史上第一个类东说念主机器东说念主上半身的高速连气儿限度 VLA 模子，掩盖手腕、躯干、头部和单个手指；

多机器东说念主相助：不错两台机器东说念主用一个模子限度相助，完成前所未见的任务；

抓取任何物品：不错捡起任何微型物体，包括数千种它们从未碰到过的物品，只需解任天然说话指示即可；

单一神经采集：Helix 使用一组神经采集权重来学习通盘行动 —— 抓取和摒弃物品、使用抽屉和雪柜、以及跨机器东说念主交互 —— 无需任何任务特定的微调；

腹地化：Helix 是史上第一个在腹地 GPU 运行的机器东说念主 VLA 模子，也曾具备了营业化落地智商。

在智能驾驶领域，本年各家车厂都在推动端到端技艺的大范围落地，如今 VLA 驱动的机器东说念主也已进入了营业化的倒计时，如斯看来 Helix 可谓是具身智能的一次紧要龙套。

一组 Helix 神经采集权重同期在两个机器东说念主上运行，它们协同使命，将从未见过的杂货色品收纳起来。

东说念主形机器东说念主技艺的新蔓延

Figure 默示，家庭环境是机器东说念主技艺靠近的最大挑战。与受控的工业环境不同，家庭中充满了无数非限定物体，如易碎的玻璃器皿、皱巴巴的衣物、洒落的玩物，每件物品的体式、大小、激情和质地都难以瞻望。为了让机器东说念主在家庭中阐扬作用，它们需要能够按需生成智能的新行动。

面前的机器东说念主技艺无法蔓延到家庭环境中 —— 当今，即使教机器东说念主一个单一的新行动，也需要浩荡的东说念主力参预。要么需要数小时的博士级大家手动编程，要么需要数千次的演示，这两种技艺的资本都高得令东说念主令人切齿。

图 1：不同技艺获取新机器东说念主技巧的蔓延弧线。在传统的启发式操作中，技巧的增长依赖于大家手动编写剧本。在传统机器东说念主效法学习中，技巧的蔓延依赖于采集的数据。而通过 Helix，新技巧不错通过说话即时指定。

面前，东说念主工智能的其他领域也曾掌合手了这种即时泛化的智商。若是能浮浅地将视觉 - 说话模子（VLM）中拿获的丰富语义知识平直迁徙为机器东说念主动作，大要会已毕技艺龙套。

这种新智商将从压根上编削机器东说念主技艺的蔓延轨迹（图 1）。于是，重要问题酿成了：如何从 VLM 中索要通盘这些学问性知识，并将其迁徙为可泛化的机器东说念主限度？Figure 构建了 Helix 来弥合这一差距。

Helix：首个机器东说念主系统 1 + 系统 2 VLA 模子

Helix 是机器东说念主领域上草创的「系统 1 + 系统 2」VLA 模子，用于高速、明智地限度通盘这个词东说念主形机器东说念主上半身。

Figure 默示，先前的技艺靠近一个根人性的量度：VLM 骨干是通用的，但速率不快，而机器东说念主视觉通顺政策是快速的，但不够通用。Helix 通过两个互补的系总揽理了这一量度，这两个系统经由端到端的测验，不错进行通讯：

系统 1 ( S1 ) ：一种快速反应的视觉通顺政策，可将 S2 产生的潜在语义表征转念为 200 Hz 的精准连气儿机器东说念主动作；

系统 2 ( S2 ) ：一个机载互联网预测验的 VLM，以 7-9 Hz 运行，用于场景连气儿和说话连气儿，已毕跨物体和高下文的粗莽泛化。

这种解耦架构允许每个系统在其最好时辰要领上运行。S2 不错「逐步想考」高端倪主张，而 S1 不错「快速想考」机器东说念主及时实施和调理的动作。举例，在相助行动中（见下图），S1 不错快速相宜伙伴机器东说念主束缚变化的动作，同期保持 S2 的语义主张。

Helix 能让机器东说念主快速进行精粹的通顺调理，这是在实施新语义主张时对相助伙伴作念出反应所必需的。

Helix 的想象相较于现存技艺具有以下几个重要上风：

速率与泛化智商：Helix 在速率上与专门用于单一任务的行动克隆政策尽头，同期能够零样本泛化到数千种新测试对象上；

可蔓延性：Helix 平直输出高维动作空间的连气儿限度，幸免了之前 VLA 技艺中使用的复杂动作记号化决策。这些决策在低维限度成立（举例二值化平行夹爪）中取得了一些告捷，但在高维东说念主形限度中靠近蔓延挑战；

架构浮松性：Helix 使用要领架构 —— 一个开源的、灵通权重的 VLM 用于系统 2，以及一个浮浅的基于 Transformer 的视觉通顺政策用于系统 1；

宽恕点分离：将 S1 和 S2 解耦使咱们能够辞别迭代每个系统，而无需受限于寻找合资的不雅察空间或动作默示。

Figure 先容了部分模子及测验细节，其采集了一个高质料、多机器东说念主、多操作员的各样化遥操作行动数据集，谋略约 500 小时。为了生成天然说话要求下的测验对，工程东说念主员使用了一个自动标注的视觉说话模子（VLM）来生成过后指示。

该 VLM 会处理来自机器东说念主机载录像头的分段视频片断，并教唆：「你会给机器东说念主什么指示以使其实施视频中看到的动作？」测验时期处理的通盘物品在评估中被摈弃，以防护数据欺侮。

模子架构

Helix 系统主要由两个主要组件构成：S2，一个 VLM 骨干采集；S1，一个潜在要求视觉通顺 Transformer。

S2 基于一个 70 亿参数的开源、灵通权重的 VLM 构建，该 VLM 在互联网范围数据上进行了预测验。它处理单目机器东说念主图像和机器东说念主情状信息（包括手腕姿态和手指位置），并将它们投影到视觉说话镶嵌空间中。结合指按时望行动的天然说话指示，S2 将通盘语义任务关联信息提真金不怕火为一个连气儿的潜在向量，传递给 S1 以转念其初级动作。

S1 是一个 8000 万参数的交叉空洞力编码器 - 解码器 Transformer，认真初级限度。它依赖于一个王人备卷积的多要领视觉骨干采集进行视觉处理，该采集王人备在模拟环境中进行预测验运行化。天然 S1 采取与 S2 换取的图像和情状输入，但它以更高的频率处理这些输入，以已毕更灵敏的闭环限度。来自 S2 的潜在向量被投影到 S1 的记号空间中，并与 S1 视觉骨干采集索要的视觉特征沿序列维度联结，提供任务要求。

在使命时，S1 以 200 赫兹的频率输出完竣的上半身东说念主形限度，包括盼望的手腕姿态、手指屈曲和外展限度，以及躯干和头部标的主张。Figure 在动作空间中附加了一个合成的「任务完成百分比」动作，使 Helix 能够瞻望本身的已矣要求，从而更容易对多个学习到的行动进行排序。

测验

Helix 的测验是王人备端到端的：从原始像素和文本大叫映射到具有要领回来赔本的连气儿动作。

梯度的反向传播旅途是通过用于转念 S1 行动的隐通讯向量从 S1 到 S2，从而允许对这两个组件进行联结优化。

Helix 不需要针对具体某某任务进行调理；它只需保管单个测验阶段和一组神经采集权重，无需单独的动作头或针对每个任务的微调阶段。

在测验时期，他们还会在 S1 和 S2 输入之间添加一个时辰偏移量。此偏移量经由校准以匹配 S1 和 S2 部署的推理延伸之间的差距，确保部署时期的及时限度要求准确反馈在测验中。

经由优化的流式推理

Helix 的测验想象可已毕在 Figure 机器东说念主上高效地并行部署模子，每台机器东说念主都配备了双低功耗镶嵌式 GPU。推理管说念分为 S2（高档隐霸术）和 S1（初级限度）模子，每个模子都在专用 GPU 上运行。

S2 行动异步后台进度运行，用于处理最新的不雅察已矣（机载录像头和机器东说念主情状）和天然说话大叫。它束缚更新编码高档行动意图的分享内存隐向量。

S1 行动单独的及时进度实施，其主张是保管让通盘这个词上身动作平滑实施所需的重要 200Hz 限度回路。它的输入是最新的不雅察已矣和最新的 S2 隐向量。由于 S2 和 S1 推理之间存在固有的速率差异，因此 S1 天然会在机器东说念主不雅察上以更高的时辰分辨率运行，从而为反应限度创建更紧密的反馈回路。

这种部署政策专门反馈了测验中引入的时辰偏移量，从而可最大收尾地减少测验推理散布差距。这种异步实施模子允许两个进度以各自最好频率运行，使 Helix 的运行速率能与最快的单任务效法学习政策同样快。

原理的是，在 Figure 发布 Helix 之后，清华大学博士生 Yanjiang Guo 默示其技艺想路与他们的一篇 CoRL 2024 论文颇为相似，感兴味的读者也可参照阅读。

论文地址：https://arxiv.org/abs/2410.05273

已矣

细粒度 VLA 全上身限度

Helix 能以 200Hz 的频率谐和 35 开脱度的动作空间，限度从单个手指通顺到终端实施器轨迹、头部扫视和躯干姿势等一切。

头部和躯干限度具有特有的挑战 —— 当头部和躯干迁徙时，会编削机器东说念主不错涉及的范围和不错看到的范围，从而产生反馈回路，以前这种反馈回路会导致不踏实。

视频 3 演示了这种谐和的实质操作：机器东说念主用头部沉稳地追踪双手，同期调理躯干以取得最好涉及范围，同期保持精准的手指限度以进行抓合手。在此之前，在如斯高维的动作空间中已毕这种精度水平是很难的，即使关于单个且已知的任务亦然如斯。Figure 公司默示，之前还莫得 VLA 系统能够发扬出这种程度的及时谐和，同期保持跨任务和物体泛化的智商。

Helix 的 VLA 能限度通盘这个词东说念主形机器东说念主上半身，这是机器东说念主学习领域首个作念到一丝的模子。

零样本多机器东说念主协同

Figure 默示，他们在一个高难度多智能体操作场景中将 Helix 推向极限：两台 Figure 机器东说念主相助已毕零样本杂货存放。

视频 1 展示了两个基本跳跃：两台机器东说念主告捷地操作了全新的货色（测验时期从未碰到过的物品），展示了对各式体式、大小和材料的老成泛化。

此外，两个机器东说念主都使用换取的 Helix 模子权重进行操作，无需进行特定于具体机器东说念主的测验或明确的变装分派。它们的协同是通过天然说话教唆词已毕的，举例「将一袋饼干递给你右边的机器东说念主」或「从你左边的机器东说念主那儿接过一袋饼干并将其放在翻开的抽屉里」（参见视频 4）。这是初度使用 VLA 展示多台机器东说念主之间天真、蔓延的相助操作。探求到它们告捷处理了全新的物体，这项确立就显得尤其权臣了。

线路出「提起任何东西」智商

只需一个「提起 [ X ] 」指示，配备了 Helix 的 Figure 机器东说念主基本就能提起任何微型家用物品。在系统性测试中，无需任何预先演示或自界说编程，机器东说念主就告捷地处理了杂沓摆放的数千件新物品 —— 从玻璃器皿和玩物到用具和衣着。

极度值得空洞的是，Helix 不错成立互联网范围的说话连气儿和精准的机器东说念主限度之间的联系。举例，当被教唆「提起沙漠物品」时，Helix 不仅能笃定出玩物仙东说念主掌与这个抽象认识相匹配，还能选拔最近的手并能通过精准通顺大叫安全地抓起它。

Figure 公司默示：「关于在非结构化环境中部署东说念主形机器东说念主，这种通用的『说话到动作』抓取智商开发了令东说念主欢快的新可能。」

Helix 可将「提起 [ X ] 」等高层面指示转译成低层动作。

盘问

Helix 的测验恶果很高

Helix 以一丝的资源已毕了广阔的物体泛化。Figure 公司默示：「咱们整个使用了约 500 小时的高质料监督数据来测验 Helix，这只是是之前采集的 VLA 数据集的一小部分（

单一权重集

现存的 VLA 系统通常需要专门的微调或专用的动作头来优化实施不同高档行动的性能。值得空洞的是，Helix 仅使用一组神经采集权重（系统 2 为 7B、系统 1 为 80M），就不错完成在各式容器中拾取和摒弃物品、操作抽屉和雪柜、谐和明智的多机器东说念主派遣以及主管数千个新物体等动作。

「提起 Helix」（Helix 意为螺旋）

总结

Helix 是首个通过天然说话平直限度通盘这个词东说念主形机器东说念主上半身的「视觉 - 说话 - 动作」模子。与早期的机器东说念主系统不同，Helix 能够即时生成长视界、相助、明智的操作，而无需任何特定于任务的演示或浩荡的手动编程。

Helix 发扬出了广阔的对象泛化智商，能够提起数千种体式、大小、激情和材料特点差异的新奇家居用品，况且这些物品在测验中从未碰到过，只需用天然说话大叫即可。该公司默示：「这代表了 Figure 在蔓延东说念主形机器东说念主行动方面迈出了变革性的一步 —— 咱们服气，跟着咱们的机器东说念主越来越多地协助宽泛家庭环境，这一步将至关要紧。」

天然这些早期已矣确乎令东说念主欢快，但总体来说，咱们上头看到的还都属于认识考证，只是展示了可能性。着实的变革将发生在能大范围实质部署 Helix 的时候。期待那一天早些到来！

临了顺带一提，Figure 的发布可能只是本年具身智能繁多龙套的一小步。今天凌晨，1X 机器东说念主也官宣行将推出新品。

体育游戏app平台