系统与场景 · 人体状态智能与物理AI
VLA、世界模型与人体状态智能有什么关系?
VLA联系视觉、语言与动作,世界模型关注状态变化,人体状态智能补充与人有关的信息;具体怎样配合,取决于任务。
VLA把视觉、语言与动作联系起来,世界模型关注环境或系统状态怎样变化;人体状态智能提供与交互对象有关的补充信息。三者能否协同、是否需要外接状态模块,都取决于具体任务和系统设计。
本文目录 · 8 个问题
先把三个容易混淆的名字解释清楚
VLM是视觉—语言模型,能够联合处理图像和语言。VLA是视觉—语言—动作模型,进一步把这类信息与行动表示联系起来。Google DeepMind的RT-2研究,就是将视觉语言预训练与机器人数据结合的一种VLA实例。[1]
世界模型则关注状态变化,例如当前环境在一个动作之后可能怎样发展。不同世界模型的输入、预测对象与用途并不相同。NVIDIA Cosmos公开资料所讨论的世界基础模型,面向物理AI相关的生成、预测与推理任务;不能把“世界模型”简单理解成一张静态三维地图。[2]
人体状态智能关注的是交互中的人:哪些生理、行为与时间线索值得使用,它们可能怎样解释。这与动作生成不是同一个问题,但可以发生联系。
“能执行动作”和“怎样组织服务”是不同层次
机器人可以学会递送物品,但室内空间还需要安排任务顺序、理解用户是否希望继续原定活动,并决定哪些工作由机器人或其他设备承担。视觉、语言、日程和任务信息能够回答其中一部分问题;人体状态信息在持续变化与个体化服务中可以提供另一个维度。
不能因此断言所有VLA都无法理解人的状态。模型可能从行为和语言中学到相关联系。真正需要讨论的是:哪些信息值得专门取得,怎样表达才不会被下游误用,以及独立模块是否给产品带来实际收益。
图示可在框内左右滑动查看。
三种可能的接入方式
作为任务与服务上下文。系统将有时间范围的状态信息和已确认的用户选择提供给规划或应用模块,帮助讨论任务是否继续、是否提供辅助、何时安排后续关注。状态推断与用户指令需要分别表达,而不是合成一条不加区分的自动命令。
作为结构化输入。应用接收定义明确的数值、可用性与时间信息,并由自己的策略模块使用。这里的结构化,不等于一定使用某种JSON格式,也不代表任何SDK已提供全部字段。
作为策略限制。某些状态线索可以帮助应用决定何时减少非必要打扰,但不能替代独立的运动安全约束。即使感知模块失效,机器人也仍需遵守原有安全规则。[3]
这三种接入方式是设计示例,系统可以按任务需要选用或组合;具体兼容性仍需结合产品与接口确认。
外接模块与端到端模型,各有什么取舍?
独立模块便于给输入、输出和版本建立清楚边界,也可能便于复用已有设备。代价是需要处理时间同步、接口含义与模块之间的分工。端到端方法则可能联合学习多种信息之间的关系,但对于某个输出来自哪里、哪些输入不可用,需要另外设计可解释机制。
应根据任务所需的信息和可解释性选择架构。若任务只需一句语言确认,没有必要为它增加复杂生理分析;若需要连续、明确定义的生理信息,也不应把生成式模型的文字描述当作真实测量。
时间尺度不同,是集成时经常被忽略的问题
图像中的一次转头可能很快发生,而脉搏节律估计往往需要连续片段。个人趋势又可能跨越多次使用。把这几种信息送入同一决策系统,必须知道它们并非来自同一个“瞬间”。
例如,机器人已经换了话题,旧片段中的状态摘要就不应该被当作新话题的证据。把时间范围写清,是为了让下游知道信息适用于哪一段过程,而不是追求界面上所有数据同时刷新。
世界模型中的“人”,不应被过度简化
如果未来模型预测的不只是物体移动,也包括人的反应,就会面对偏好、情境和不确定性。人不是具有固定参数的机械物体。人机相互适应研究提供了专门建模人的行为和策略的思路,但不能把某项研究外推成普遍的人类反应预测器。[4]
一个务实的方向,是让预测与确认协同:系统可以提出候选响应,再用用户选择和实际反馈修正,而不是把预测写成用户未来一定会怎样。
室内空间不必只有一套模型或一个决策节点
一个空间可以让不同设备承担各自擅长的工作:机器人使用自己的规划与执行系统,环境设备接受适用控制,空间应用协调服务目标和任务进度。人体状态信息在其中提供共同的背景,并不要求所有原始数据和全部决策集中到机器人内部。
这样的架构也不意味着每台空调或屏幕都需要运行VLA。任务协调、状态理解、动作生成和设备控制可以采取不同实现,重要的是职责和信息含义清楚。这里展示的是可能的模块分工,具体能否配合仍需按系统确认。
科思创动可以怎样参与这个生态?
从产品分工看,SDK和模组可以成为感知能力的接入形式;是否接入某个VLA、机器人平台或世界模型,需要再映射到具体系统。与VLA或机器人平台的兼容情况、实际系统结构,需按具体版本与交付方案确认。
集成时,需要说明每类信息的来源,并明确感知、状态推断、任务决策与物理控制各自负责什么。
参考资料与延伸阅读
- 论文Brohan A et al.. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.
作者公开稿 arXiv:2307.15818, 2023
引用范围:VLA把视觉、语言与机器人动作联系起来的研究例子。
- 官方技术资料NVIDIA. Cosmos — Physical AI with World Foundation Models.
官方技术资料,访问于2026-10-10
引用范围:世界模型相关的预测、生成与物理AI技术方向。
- 官方框架NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0).
NIST AI 100-1, 2023. DOI: 10.6028/NIST.AI.100-1
引用范围:情境化AI风险管理与责任划分;自愿性框架,不是产品认证。
- 论文Nikolaidis S; Hsu D; Srinivasa S. Human-robot mutual adaptation in collaborative tasks: Models and experiments.
The International Journal of Robotics Research 36(5–7):618–634, 2017. DOI: 10.1177/0278364917690593
引用范围:人机相互适应研究;陪伴与座舱情境为假设示例,不是研究实测案例。

