感知技术 · 非接触感知技术
非接触生理感知受哪些条件影响?
光照、运动、遮挡、距离和视频处理会影响非接触式光感知;不同生理与状态任务还各有输入条件。
画面中能找到人脸,不代表其中一定保留了可用的生理节律。光照、运动、遮挡、有效皮肤像素及视频处理都可能影响信息质量;不同硬件和算法的适用范围不同,不能用一个固定条件代表所有方案。
本文目录 · 7 个问题
画面清楚,为什么仍可能没有合适的脉搏信息?
看清眼睛和嘴巴,依靠的是较明显的空间结构;提取脉搏节律,依靠的是较微弱的时间变化。视频软件为了让画面更漂亮,可能调整亮度、颜色或细节,这些处理不一定有利于保留原始节律。
人脸检测表现良好时,生理信息仍可能不稳定:前者识别外观,后者分析时间变化。多场景rPPG数据研究会同时考察运动、光照和个体差异。[1]
光照不足、过亮和变化快,是不同问题
暗光下,有用光学变化可能更容易被噪声淹没;过亮时,局部像素可能失去细节;进出隧道或经过树影,则会带来快速变化。它们不能靠“增加亮度”这一种办法同时解决。
光源的颜色也有影响。屏幕从白色切换到蓝色,会改变照在人脸上的光。相机的自动调节又可能增加新的变化。选择光学方案时,照明、成像和算法需要一起考虑。[2]
图示可在框内左右滑动查看。
转头、说话和走动,会改变哪些东西?
转头会改变可见皮肤及其受光角度;说话会让嘴部和脸颊运动;摄像头自身移动,也可能使同一块皮肤在画面中的位置变化。算法如果把不同区域或不同照明条件当作同一条连续信号,就可能把运动当成生理变化。
人脸跟踪、区域选择和运动处理为应对这些问题提供了工具,但不能据此宣称任意运动下都可靠。运动分布是视频生理测量研究中的重要变量。[3] 对应用来说,选择自然、适合的片段,往往比要求每一秒都有结果更合理。
遮挡和肤色分别怎样影响采集?
镜片反光、刘海、胡须和帽檐主要影响某些区域是否可见、是否仍主要由皮肤信息构成。它们不意味着“戴眼镜的人不能使用”,而是需要判断还剩哪些合适区域。
皮肤光学特性则涉及吸收、散射及传感器获得的信号差异。肤色是其中一个因素,不能把复杂系统表现简单归结为某一类人。镜头、光谱、光源和算法共同决定实际表现;多样化人群与环境研究有助于理解这种差异。[1]
距离为何重要,却不能单独规定一个通用数字?
相同的摄像头分辨率,拍整间屋子与拍近距离人脸,留下的皮肤像素数量不同。远距离不只是“脸更小”,还可能增加区域混合、遮挡与压缩影响。
讨论距离时,还要看镜头视场、安装位置、目标姿态和输入尺寸。近距离终端与广角OMS摄像头的采集要求可能不同。
视频链路也会改变信号
小屏阅读:表格可在框内左右滑动。
| 链路环节 | 可能影响什么 |
|---|---|
| 自动曝光和增益 | 亮度随时间的变化及噪声表现 |
| 白平衡和颜色处理 | 不同颜色通道之间的关系 |
| 压缩、美颜和降噪 | 微小变化是否被保留或改变 |
| 丢帧、重复帧与排队 | 数据的时间连续性与处理延迟 |
排查视频链路时,可由相机和软件团队一起确认:自动调节改变了什么、压缩保留了什么,以及丢帧和排队是否影响时间信息。
没有结果时,界面应该怎样提示?
系统可以暂时不显示某项生理结果、说明当前信息不足,或在主动交互终端中提供简单的姿态建议。驾驶场景则不应为了取得生理数据,要求驾驶员离开道路视线配合摄像头。
“暂时没有结果”表示当前信号不够可靠,不能据此判断身体正常或异常。界面应把采集状态与健康结果分开说明。
参考资料与延伸阅读
- 研究数据集/论文Tang J; Chen K; Wang Y; Shi Y; Patel S; McDuff D; Liu X. MMPD: Multi-Domain Mobile Video Physiology Dataset.
作者公开稿 arXiv:2302.03840, 2023;EMBC 2023
引用范围:移动视频中的光照、运动、皮肤差异等场景因素。
- 论文Wang W; den Brinker A C; Stuijk S; de Haan G. Algorithmic Principles of Remote PPG.
IEEE Transactions on Biomedical Engineering 64(7):1479–1491, 2017. DOI: 10.1109/TBME.2016.2609282
引用范围:皮肤光学模型及远程PPG的算法原理。
- 论文Paruchuri A et al.. Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement.
作者公开稿 arXiv:2303.12059, 2023
引用范围:运动与数据分布对视频生理感知的影响。

