感知技术 · 非接触感知技术
普通RGB摄像头能用于生理感知吗?何时需要专用模组?
结合现有摄像头、视频处理和安装条件,判断能否复用设备,或是否需要专用模组。
普通RGB摄像头在合适的条件下可以提供非接触生理感知所需的视频;专用模组便于一起设计光源、光谱、安装与软件处理。是否适用,要看视频质量、目标指标和所用算法。
本文目录 · 7 个问题
普通RGB摄像头怎样提供脉搏信息?
RGB指红、绿、蓝三个颜色通道。连续皮肤视频中,与脉搏有关的微弱变化可能保留在这些通道里,因此普通摄像头也能成为研究和产品集成的起点。Poh等人的早期工作展示了这一技术路径。[1]
已有摄像头和计算平台的设备,可以评估通过软件增加脉搏分析功能。评估时还要检查图像处理和传输方式:即使摄像头型号相同,算法收到的视频也可能不同。
帧序、时间戳和图像处理为什么重要?
普通拍照常希望颜色讨喜、细节清楚;生理感知还关心每一帧怎样衔接、时间是否准确、微小变化是否被保留。分辨率只是其中一个因素。
例如,聊天软件为节省带宽重压缩视频,或设备为了美观不断改变肤色,可能对人眼无明显影响,却改变时间曲线。对于同一设备,直接相机输入与经过多次处理的视频,并不是同一种数据源。
图示可在框内左右滑动查看。
RGB与近红外,有什么不同?
近红外通常写作NIR,是可见光之外的一段光谱。相应方案需要匹配的传感器响应、滤光与照明;“红外摄像头”并不自动意味着可以在任何黑暗环境下完成生理感知。主动近红外照明,是车载研究中的一种技术路线。[2]
RGB提供多个较宽的颜色通道,便于与一般视觉任务共享图像。单通道近红外可能更容易围绕特定波段设计光学链路,但不能直接照搬所有依赖RGB通道关系的方法。选择多波段方案时,应明确每个通道提供什么信息,新增通道是否有助于当前任务。
专用模组怎样匹配光源、镜头和算法?
专用模组可以一起设计光源、镜头、滤光、传感器和软件处理,使这些配置适合目标设备的安装位置与采集任务。
例如,机器人胸口的安装位置与座舱仪表附近不同;固定交互终端与覆盖整个后排的广角摄像头,也有不同的视场需求。专用设计可以讨论这些差别,但并不意味着它能消除所有运动或光照影响。
两条接入路线怎样选择?
小屏阅读:表格可在框内左右滑动。
| 系统起点 | 可以优先了解的路线 | 重点是什么 |
|---|---|---|
| 已有摄像头、主控和应用 | 软件SDK | 保留现有外观与系统,匹配输入链路 |
| 需要嵌入设备的光学单元 | 专用感知模组 | 协调安装、光学、供电与软件接口 |
| 希望直接建立现场交互 | 完整终端 | 把采集和用户流程一起考虑 |
| 多个终端共享现场计算 | 边缘计算方案 | 明确连接方式、处理任务与运维 |
这些路线可以组合。比如同一机器人保留原视觉摄像头承担导航,再用适合的感知单元补充面向人的信息;是否这样设计,仍需看目标和实际产品。[3]
专用模组并不意味着所有任务都要定制硬件
如果已有输入适合目标功能,再增加硬件可能徒增成本和集成负担。反过来,若视频中的微小变化已经被前端处理抹去,只升级后端算法也未必能补回原始信息。
选型时应明确感知任务:分析一般视觉行为,还是提取脉搏信息?目标是驾驶员,还是多排乘员?需要持续更新,还是可以在用户停留时采集?这些要求会影响摄像头和安装方式的选择。
摄像头与软件怎样一起选?
选择摄像头时,要同时确认照明和图像处理是否保留所需信号、算法支持哪些输入,以及应用准备怎样使用结果。
具体摄像头要求、支持平台和模块范围,应查阅对应版本资料。已有DMS与OMS摄像头的复用问题,在《现有DMS和OMS摄像头能否扩展非接触生理感知?》中进一步讨论。
参考资料与延伸阅读
- 论文Poh M-Z; McDuff D J; Picard R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.
Optics Express 18(10):10762–10774, 2010. DOI: 10.1364/OE.18.010762
引用范围:视频脉搏感知的研究路径;不代表任意摄像头的产品性能。
- 论文Xu M; Zeng G; Song Y; Cao Y; Liu Z; He X. Ivrr-PPG: An Illumination Variation Robust Remote-PPG Algorithm for Monitoring Heart Rate of Drivers.
IEEE Transactions on Instrumentation and Measurement, 72, 2023. DOI: 10.1109/TIM.2023.3271760
引用范围:驾驶环境中的近红外光照变化、背景参照与频率估计研究;实验数据需结合论文全文中的测试条件阅读。
- 公司提供资料深圳市科思创动科技有限公司. 科思创动产品形态与知识中心目录.
公司提供的产品类别资料(软件SDK、明眸模组、明镜终端与边缘计算设备)
引用范围:仅用于SDK、明眸、明镜、边缘设备的类别和名称;未据此添加量化规格。

