Arm:机器人的下一关,是泛化能力
2026-08-21
18:00:05
来源: 杜芹
点击
人形机器人正在成为人工智能产业最炙手可热的赛道之一,但当越来越多公司开始展示奔跑、抓取、叠衣服、搬箱子乃至复杂操作之后,一个更现实的问题也逐渐浮出水面:如果每增加一个任务、每进入一个场景,都需要重新采集数据、训练模型、调试系统,那么机器人即使能够完成再多令人惊艳的Demo,也很难真正走向规模化部署。
8月17日,在Arm物理AI机器人技术媒体沟通会上,Arm物理AI机器人技术研究全球负责人Federico Pecora将这个问题归结为一个关键词——泛化能力。

Arm物理AI机器人技术研究全球负责人Federico Pecora
在Federico看来,过去几年AI技术最重要的变化之一,是机器人开始具备跨对象、跨任务乃至跨环境泛化的可能性,这也是当下人形机器人受到产业界高度关注的深层原因。但真正能够决定机器人能否从“一个任务做得很好”走向“进入陌生环境仍然能够工作”的,并不是简单把模型继续做大,而是需要重新思考机器人从模型、软件到芯片、内存、调度、安全控制的一整套系统架构。
泛化能力决定规模化上限
“对我们的客户,以及对我们自身而言,最大的突破点在于机器人的泛化能力。” Federico Pecora 在演讲开篇便直接切中了当前产业发展的痛点。他强调,泛化能力的商业价值在于能够显著降低机器人适配和部署到新场景、新流程及新任务的成本与复杂性,是推动机器人技术真正实现规模化落地的关键能力。

Federico认为,机器人智能正在经历三个明显的演进阶段。
第一阶段是跨对象泛化,即同一个任务面对不同对象时,机器人无需为每一种对象分别重新编程或者训练,这类能力已经开始在物流分拣、零售等相对结构化场景中得到验证。
第二阶段则是多任务智能,机器人不再围绕一个固定工作流运行,而是依托统一的智能平台,根据任务需求动态调用不同能力。
最终阶段则是系统级自适应:不仅开发者能够改变机器人能力,终端用户甚至机器人自身,都可以根据新的环境和任务完成能力调整,而无需经历完整的重新开发、训练和部署过程。
为了更直观地说明系统级自适应的复杂性,Federico Pecora抛出了一个典型的日常购物场景:假设用户带着一台人形机器人进入一家它从未来过的超市,然后对它说:“推辆购物车,跟我来,我去挑选蔬菜,你去取一袋10公斤的大米,我们稍后在乳制品区会合。”
看起来只是一次普通购物,但如果拆解这句话,机器人实际上需要连续解决一系列完全不同的问题。它首先要理解语言中的多个任务目标和先后关系;随后找到购物车并完成移动操作;在推动购物车的同时识别人类并保持跟随;进入陌生环境后自主导航;根据关于超市布局的常识判断“大米”可能出现的位置;识别商品并完成抓取;最后带着重量发生变化的购物车继续运动,并根据新的动力学状态重新调整制动距离和控制策略。
按照传统机器人开发逻辑,这里面任何一步都可能被单独做成一个项目。但Federico认为,真正困难的地方恰恰不是这些单项能力。“以当前技术水平来看,这些单项技能中的任何一项都不算难以实现。真正的难点在于如何将这些技能组合起来,特别是如何让机器人自主地完成这种组合,而无需为每项新任务进行预编程或大量人工配置。”
Federico Pecora 表示,当前完成上述全流程自适应任务的基础工具与通用常识体系已渐趋成熟,但如何将它们整合为能够持续感知、决策和行动的物理 AI 系统,仍是行业需要攻克的重要挑战。
泛化能力的四大关键挑战
一个真正具备自适应能力的机器人,不仅需要适应不同的物体,更需要适应不同的使用场景和任务类型。Federico Pecora 强调,泛化能力并非单一的技术挑战,而是由四个关键问题共同决定的系统性工程:

其一,能力如何实现?机器人无法依靠单一模型完成所有任务,而是需要视觉语言动作模型(VLA)、视觉语言模型(VLM)、大语言模型(LLM)以及参数化控制器等多个模块共驻运行、共享内存与带宽资源,协同生成最终行为。
其二,能力如何协同?真实世界中的机器人工作负载具有完全不同的时间尺度。碰撞检查必须实现毫秒级即时响应,导航和操控需要持续更新,而高层语义推理则往往以突发、异步的方式出现。缺乏明确的时序结构和优先级调度,将导致计算资源相互争抢,甚至引发严重的安全风险。
其三,能力如何映射到计算资源?考虑到真实场景中云端网络不确定性,响应能力、自主决策和安全性要求大量智能计算必须在机器人本地完成。如何在 CPU、专用加速器、内存和通信链路之间合理划分计算任务,在充分发挥异构计算优势的同时最大限度降低数据搬运成本,是下一代芯片架构必须回答的考题。
其四,能力如何受到约束和管控?随着机器人具备更强的自主能力,安全屏障、运行时保障以及备用控制器必须能够随系统变化保持有效,确保空间与时间规则、场景行为规范等高层次约束在黑盒 AI 策略下始终可被强制执行。

在Federico看来,机器人产业当前还存在一个非常典型的创新断层。学术界往往围绕感知、控制、规划或者模型中的某一个问题展开研究,并通过论文和Benchmark衡量进展;企业则更加关注某个确定场景能否迅速落地,在交付周期和投资回报压力下,也很难持续投入大量资源解决几年之后才可能显现价值的底层系统问题。
结果便是,产业拥有越来越多出色的模型、算法、传感器和控制技术,却仍然缺乏一种能够将这些能力动态组装、调度、部署和管控起来的系统层。
“当前完成上述全流程自适应任务的基础工具、通用常识体系已成熟,然而,这些能力尚未在真实世界的机器人系统中实现有效协同。”这也是Arm此次首次将自己的物理AI研究逻辑如此清晰地呈现出来。
从人形到全形态,Arm构建统一计算底座
“人形机器人之所以成为最受关注的方向,更重要的是它承载着机器人实现泛化和适应能力的潜力和希望。” Federico Pecora 指出,人形机器人研发所积累的感知、规划与操作经验,可以无缝迁移至轮式移动机器人等其他形态平台,从而推动整个机器人产业核心能力的跨越式进步。
面对机器人形态与应用场景高度多样化的趋势,未来的芯片是否需要走极端专用化道路?Federico Pecora 认为,机器人计算平台需要在 CPU、加速器、内存和带宽等多个维度上实现灵活扩展,以适应不同场景对功耗和散热的限制,但这绝不意味着底层技术的碎片化。相反,行业迫切需要一个统一、开放且可扩展的计算基础。
“Arm一直以来的核心使命,就是赋能生态系统和开发者。” Federico Pecora 表示,Arm 通过提供指令集架构的一致性(ISA parity),让开发者能够在云端高效完成开发和训练,再将软件直接无缝迁移到边缘侧和终端机器人平台,无需大规模重构或重新适配。这种从云到端的高度一致性,极大地降低了机器人创新与规模化落地的门槛。
面对端到端计算架构的演进,Federico Pecora 特别强调了基础控制算力对于机器人运动性能的底层支撑作用。以 2026 北京亦庄人形机器人半程马拉松赛事为例,荣耀自研“闪电”机器人以 50 分 26 秒的成绩打破人类半程马拉松世界纪录夺冠。其极致运动表现的核心支撑之一,正是腿部关节控制单元搭载的多颗兆易创新高性能 MCU——GD32H7。该芯片内置 600MHz Cortex-M7 内核,凭借强大的算力与极低延迟响应,大幅缩短了控制运算周期,展现了Arm架构在实时控制与高可靠性领域的深厚积淀。
展望未来,Federico Pecora表示,Arm将把上述四大核心议题作为一个有机整体同步推进。通过 Arm内部研究团队的持续突破,结合半导体、传感器、执行器等领域生态伙伴的深度协作,Arm致力于扮演行业整合者的角色,将学术界与产业界的创新成果汇聚于商用平台,为下一代具备系统级智能的物理 AI 机器人铺平道路。
物理AI的下一场竞争,或许也将因此从单模型能力的竞赛,逐渐走向一场真正意义上的系统工程竞赛。
8月17日,在Arm物理AI机器人技术媒体沟通会上,Arm物理AI机器人技术研究全球负责人Federico Pecora将这个问题归结为一个关键词——泛化能力。

Arm物理AI机器人技术研究全球负责人Federico Pecora
在Federico看来,过去几年AI技术最重要的变化之一,是机器人开始具备跨对象、跨任务乃至跨环境泛化的可能性,这也是当下人形机器人受到产业界高度关注的深层原因。但真正能够决定机器人能否从“一个任务做得很好”走向“进入陌生环境仍然能够工作”的,并不是简单把模型继续做大,而是需要重新思考机器人从模型、软件到芯片、内存、调度、安全控制的一整套系统架构。
泛化能力决定规模化上限
“对我们的客户,以及对我们自身而言,最大的突破点在于机器人的泛化能力。” Federico Pecora 在演讲开篇便直接切中了当前产业发展的痛点。他强调,泛化能力的商业价值在于能够显著降低机器人适配和部署到新场景、新流程及新任务的成本与复杂性,是推动机器人技术真正实现规模化落地的关键能力。

Federico认为,机器人智能正在经历三个明显的演进阶段。
第一阶段是跨对象泛化,即同一个任务面对不同对象时,机器人无需为每一种对象分别重新编程或者训练,这类能力已经开始在物流分拣、零售等相对结构化场景中得到验证。
第二阶段则是多任务智能,机器人不再围绕一个固定工作流运行,而是依托统一的智能平台,根据任务需求动态调用不同能力。
最终阶段则是系统级自适应:不仅开发者能够改变机器人能力,终端用户甚至机器人自身,都可以根据新的环境和任务完成能力调整,而无需经历完整的重新开发、训练和部署过程。
为了更直观地说明系统级自适应的复杂性,Federico Pecora抛出了一个典型的日常购物场景:假设用户带着一台人形机器人进入一家它从未来过的超市,然后对它说:“推辆购物车,跟我来,我去挑选蔬菜,你去取一袋10公斤的大米,我们稍后在乳制品区会合。”
看起来只是一次普通购物,但如果拆解这句话,机器人实际上需要连续解决一系列完全不同的问题。它首先要理解语言中的多个任务目标和先后关系;随后找到购物车并完成移动操作;在推动购物车的同时识别人类并保持跟随;进入陌生环境后自主导航;根据关于超市布局的常识判断“大米”可能出现的位置;识别商品并完成抓取;最后带着重量发生变化的购物车继续运动,并根据新的动力学状态重新调整制动距离和控制策略。
按照传统机器人开发逻辑,这里面任何一步都可能被单独做成一个项目。但Federico认为,真正困难的地方恰恰不是这些单项能力。“以当前技术水平来看,这些单项技能中的任何一项都不算难以实现。真正的难点在于如何将这些技能组合起来,特别是如何让机器人自主地完成这种组合,而无需为每项新任务进行预编程或大量人工配置。”
Federico Pecora 表示,当前完成上述全流程自适应任务的基础工具与通用常识体系已渐趋成熟,但如何将它们整合为能够持续感知、决策和行动的物理 AI 系统,仍是行业需要攻克的重要挑战。
泛化能力的四大关键挑战
一个真正具备自适应能力的机器人,不仅需要适应不同的物体,更需要适应不同的使用场景和任务类型。Federico Pecora 强调,泛化能力并非单一的技术挑战,而是由四个关键问题共同决定的系统性工程:

其一,能力如何实现?机器人无法依靠单一模型完成所有任务,而是需要视觉语言动作模型(VLA)、视觉语言模型(VLM)、大语言模型(LLM)以及参数化控制器等多个模块共驻运行、共享内存与带宽资源,协同生成最终行为。
其二,能力如何协同?真实世界中的机器人工作负载具有完全不同的时间尺度。碰撞检查必须实现毫秒级即时响应,导航和操控需要持续更新,而高层语义推理则往往以突发、异步的方式出现。缺乏明确的时序结构和优先级调度,将导致计算资源相互争抢,甚至引发严重的安全风险。
其三,能力如何映射到计算资源?考虑到真实场景中云端网络不确定性,响应能力、自主决策和安全性要求大量智能计算必须在机器人本地完成。如何在 CPU、专用加速器、内存和通信链路之间合理划分计算任务,在充分发挥异构计算优势的同时最大限度降低数据搬运成本,是下一代芯片架构必须回答的考题。
其四,能力如何受到约束和管控?随着机器人具备更强的自主能力,安全屏障、运行时保障以及备用控制器必须能够随系统变化保持有效,确保空间与时间规则、场景行为规范等高层次约束在黑盒 AI 策略下始终可被强制执行。

在Federico看来,机器人产业当前还存在一个非常典型的创新断层。学术界往往围绕感知、控制、规划或者模型中的某一个问题展开研究,并通过论文和Benchmark衡量进展;企业则更加关注某个确定场景能否迅速落地,在交付周期和投资回报压力下,也很难持续投入大量资源解决几年之后才可能显现价值的底层系统问题。
结果便是,产业拥有越来越多出色的模型、算法、传感器和控制技术,却仍然缺乏一种能够将这些能力动态组装、调度、部署和管控起来的系统层。
“当前完成上述全流程自适应任务的基础工具、通用常识体系已成熟,然而,这些能力尚未在真实世界的机器人系统中实现有效协同。”这也是Arm此次首次将自己的物理AI研究逻辑如此清晰地呈现出来。
从人形到全形态,Arm构建统一计算底座
“人形机器人之所以成为最受关注的方向,更重要的是它承载着机器人实现泛化和适应能力的潜力和希望。” Federico Pecora 指出,人形机器人研发所积累的感知、规划与操作经验,可以无缝迁移至轮式移动机器人等其他形态平台,从而推动整个机器人产业核心能力的跨越式进步。
面对机器人形态与应用场景高度多样化的趋势,未来的芯片是否需要走极端专用化道路?Federico Pecora 认为,机器人计算平台需要在 CPU、加速器、内存和带宽等多个维度上实现灵活扩展,以适应不同场景对功耗和散热的限制,但这绝不意味着底层技术的碎片化。相反,行业迫切需要一个统一、开放且可扩展的计算基础。
“Arm一直以来的核心使命,就是赋能生态系统和开发者。” Federico Pecora 表示,Arm 通过提供指令集架构的一致性(ISA parity),让开发者能够在云端高效完成开发和训练,再将软件直接无缝迁移到边缘侧和终端机器人平台,无需大规模重构或重新适配。这种从云到端的高度一致性,极大地降低了机器人创新与规模化落地的门槛。
面对端到端计算架构的演进,Federico Pecora 特别强调了基础控制算力对于机器人运动性能的底层支撑作用。以 2026 北京亦庄人形机器人半程马拉松赛事为例,荣耀自研“闪电”机器人以 50 分 26 秒的成绩打破人类半程马拉松世界纪录夺冠。其极致运动表现的核心支撑之一,正是腿部关节控制单元搭载的多颗兆易创新高性能 MCU——GD32H7。该芯片内置 600MHz Cortex-M7 内核,凭借强大的算力与极低延迟响应,大幅缩短了控制运算周期,展现了Arm架构在实时控制与高可靠性领域的深厚积淀。
展望未来,Federico Pecora表示,Arm将把上述四大核心议题作为一个有机整体同步推进。通过 Arm内部研究团队的持续突破,结合半导体、传感器、执行器等领域生态伙伴的深度协作,Arm致力于扮演行业整合者的角色,将学术界与产业界的创新成果汇聚于商用平台,为下一代具备系统级智能的物理 AI 机器人铺平道路。
物理AI的下一场竞争,或许也将因此从单模型能力的竞赛,逐渐走向一场真正意义上的系统工程竞赛。
责任编辑:SemiInsights
相关文章
-
- 半导体行业观察
-
- 摩尔芯闻