产品与研究 · 产品与系统集成

人体状态感知如何接入设备,并服务于机器人、座舱与室内空间?

接入设备时,需要明确感知模块提供什么信息、应用如何安排任务,以及哪些设备执行服务。

人体状态感知可以先接入单个设备,也可以在系统设计中服务于多个入口。感知模块提供状态信息,并说明其含义、对应时间和可用性,空间或业务应用将其用于服务目标、任务安排及设备协同;机器人不是唯一信息源,SDK也不等于整套空间控制系统。

本文目录 · 9 个问题

集成的起点:希望改变哪一段服务?

如果目标只是让用户通过语音开灯,语音与设备控制可能就足够。人体状态感知更值得参与的,是需要结合人的变化组织任务、生活辅助、持续关注或个性化服务的过程。

设计接入方案时,先明确使用者的目标,再梳理信息由谁采集、如何解释、谁安排任务、哪些设备执行,以及后续反馈由谁接收。根据这些环节的实际需要选择指标。

把设备接入与空间应用分成两层

设备接入层关注已有摄像头、处理平台、模组与软件之间的配合。空间或业务应用层关注多个入口产生的信息怎样被正确理解,怎样与用户选择和任务进度联系起来,以及服务怎样继续。

科思创动的SDK、明眸、明镜和边缘计算设备,对应不同的产品接入形态。[1] 这些名称说明了接入形态;是否具备完整的跨设备状态平台,还需核对具体方案。

图示可在框内左右滑动查看。

图 1 · 设备接入与空间服务:职责逐层分开 概念分工,不是正式API或已支持接口清单。任务记录可由应用侧提供,SDK不等于完整空间控制或服务平台。
图 1 · 设备接入与空间服务:职责逐层分开概念分工,不是正式API或已支持接口清单。任务记录可由应用侧提供,SDK不等于完整空间控制或服务平台。

一个室内空间中的可能分工

小屏阅读:表格可在框内左右滑动。

一个室内空间中的可能分工
环节可能承担的工作不应混淆的职责
机器人、智能镜或固定入口在适合的场景获取信息,承接用户表达一个入口不必覆盖所有感知场景
感知与状态模块提取可用信息,说明来源、时间与含义估计或推断不自动成为执行指令
空间应用或任务系统结合需求、偏好、状态和任务协调服务不等于必须使用同一模型或集中在一台机器人
设备与服务执行端完成获准且真实支持的动作和服务动作执行不等于已经改善健康
后续交互与记录接收反馈、保存必要进度、调整下一步不要求保存全部原始视频和历史

这是概念分工表,不是正式API或当前产品的统一功能清单。具体哪些环节由客户系统、科思创动产品或合作方承担,应在实际方案中分别明确。

输入不只是图像,还包括时间与情境

对于生理节律,连续视频变化具有意义,单帧外观本身不足以构成脉搏周期。[2] 在系统中,还要知道输入来自哪个设备、对应哪段时间、是否属于当前服务对象,以及用户当时在做什么。

这些背景不一定全部送进感知算法,也不一定由SDK提供。可以由应用在允许范围内组织最少必要信息,但需要避免把多个时段、多个对象的记录混在一起。

输出应当说明“是什么”,而不只传一个分数

小屏阅读:表格可在框内左右滑动。

输出应当说明“是什么”,而不只传一个分数
信息类别它回答什么应用需要避免什么
生理或行为相关结果该记录可获得什么量或线索将估计值直接命名为医学或心理事实
可用性与时间范围什么观察支持结果,是否仍适合当前使用把缺失、过期或质量不足当成正常值
状态或变化信息在给定背景下,哪些变化值得关注忽略任务和个人差异,机械触发动作
用户选择与任务记录服务已经确认到哪一步,下一步是什么与模型推断混为同一种“确定事实”

用户选择与任务记录通常由应用侧管理,是否由SDK提供相应字段,需要核对版本资料。具体接口、编码和更新方式也以该版本的正式技术资料为准。

服务可以跨入口,但生理记录不应直接无条件拼接

用户在智能镜前选择了后续关注安排,机器人或智能屏可以在适当权限下接续任务。此时延续的是明确选择和必要进度,不代表所有设备都需要获得用户完整历史。

若还需要比较不同入口取得的生理值,就要另行处理指标含义、设备差异和可比条件。任务能够接续,并不能说明不同设备的测量结果已经一致。

身份归属不明时,应暂停跨人关联;输入缺失时,应保留信息不足的状态,而不是把旧值包装为当前结果。

三类系统各有约束,不应套用同一个响应模板

室内空间可以协调环境、任务与不同设备,使服务在入口变化后仍可接续。机器人承担移动感知、自然交互和自身真实支持的辅助执行,不必包办所有空间决策。健康座舱同样可以使用状态信息,但必须优先服从驾驶任务与整车安全要求。

一台主动使用的终端可以提供较完整的说明,行驶中的驾驶员则不适合接受额外操作负担。相同信息进入不同场景时,使用方式必须重新结合任务判断。

部分信息不可用时,基础服务仍应继续

人离开画面、输入中断或光照变化时,状态模块可能暂时不能提供某类信息。应用仍可执行清楚的用户指令,保留正常任务与求助通道,不应把额外感知变成所有服务的前置条件。

同时,感知模块不负责替代机械安全、车辆控制或业务授权。风险需要结合实际用途、错误后果和分工管理,NIST AI风险管理框架也强调这种情境化原则。[3]

产品资料与系统方案应该分别回答什么?

产品资料说明实际支持的输入、功能、平台和接口;系统方案说明它们怎样进入空间服务,哪些能力来自其他设备,如何组织权限、任务与运行责任。接入时,应核对产品接口能否满足方案中的信息需求。

软件调用成功后,还要确认状态信息用于哪项服务,以及感知模块、应用和执行设备分别承担哪些工作。 产品形态见《人体状态智能SDK、明眸、明镜与边缘计算设备如何选择?》,室内整体架构见《当室内空间成为物理AI系统,人体状态智能能带来什么?》,计算位置见《人体状态感知为什么要区分端侧、边缘和云端?》。

参考资料与延伸阅读

  1. 公司提供资料深圳市科思创动科技有限公司. 科思创动产品形态与知识中心目录.

    公司提供的产品类别资料(软件SDK、明眸模组、明镜终端与边缘计算设备)

    引用范围:说明SDK、明眸、明镜和边缘设备的类别与名称;量化规格需查阅具体产品资料。

  2. 论文Poh M-Z; McDuff D J; Picard R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.

    Optics Express 18(10):10762–10774, 2010. DOI: 10.1364/OE.18.010762

    引用范围:视频脉搏感知的研究路径;不代表任意摄像头的产品性能。

  3. 官方框架NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0).

    NIST AI 100-1, 2023. DOI: 10.6028/NIST.AI.100-1

    引用范围:情境化AI风险管理与责任划分;自愿性框架,不是产品认证。

项目合作

项目咨询

直接联系我们。

科思创动专注于人体状态感知技术,为康养、组织健康、健康座舱、生产安全以及专业谈话与监管提供人体状态智能引擎 SDK 和软硬一体产品。

电话:0755-23732105
微信咨询二维码
微信咨询点击打开,或微信扫码
关注公众号二维码
关注公众号点击打开,或微信扫码