研究解读｜Ivrr-PPG如何应对驾驶场景中的光照变化？

Ivrr-PPG的论文信息

论文是具体研究，不是适用于所有摄像头、车型和道路环境的产品保证。^[1]

驾驶场景中，哪些光照变化会干扰信号？

设想车辆在树影、开阔道路与隧道之间移动。人脸明暗在变，光从哪个方向照过来也在变。与此同时，脉搏带来的光学变化相对细微。算法看到的亮度起伏，可能来自生理，也可能来自环境。

在皮肤光学模型中，记录到的光既受照明影响，也受皮肤反射及其变化影响。有关rPPG算法原理的研究，正是从这些成分之间的关系出发理解信号提取。^[2] 车内算法在提取脉搏周期时，还要区分皮肤信号与环境光照的变化。

公开摘要介绍了什么方法？

论文原型采用带940 nm窄带滤光的单色近红外相机与相应主动光源。方法围绕光照和rPPG信号的非线性关系建模，利用背景区域作为照明参考，并通过单频正弦频率估计获得心率信息。摘要报告了道路场景中的方法比较，结果需结合实验条件理解。^[1]

940 nm是该论文原型的光学配置。明眸或SDK支持哪些输入，要按具体产品资料确认，其他非接触感知产品也未必采用这一波长。

图示可在框内左右滑动查看。

怎样通俗理解“背景参照”？

可以做一个生活中的类比：房间灯光变暗时，墙面和人的脸都会出现某些变化。观察墙面的变化，有机会帮助判断“现在是不是灯变了”，而不是把脸上所有变化都归因于人。

这个类比只用来解释参照的意义，并不复述论文公式或保证任意背景都适合作参照。真实场景中，不同位置的照明未必同步，背景也可能移动、反光或被遮挡。背景参照的作用取决于这些条件，不能保证消除全部干扰。

同时观察人脸和背景，有时能帮助算法区分光照变化与脉搏信号。

近红外和主动补光，为何不等于问题已经消失？

主动照明提供了可设计的光源，但皮肤与光源的角度、相机响应和外部环境仍然可能变化。近红外描述波段，并不自动表示所有干扰都被隔离。

例如，人稍微转头，面部不同区域接收到的光就可能改变。有关运动的视频生理研究提示，运动本身和运动条件的分布都会影响方法适用性。^[3] 因此，光学设计与算法应共同考虑，而不是期待任何一个单独环节解决所有场景。

这项研究对系统设计有什么启发？

光学链路会影响进入算法的信息，需要与算法一起设计。背景中的照明变化有时能帮助解释皮肤信号，因此也可能被用作参照。判断研究结果适用于哪些情况，还要核对其输入、原型和实验条件。

这项研究讨论驾驶场景中的心率监测；长期状态分析、情绪识别和全舱多乘员监测，仍需要各自的研究与产品资料支持。

怎样把研究与产品联系起来？

论文能够帮助了解一种问题定义和解决思路。某个商业版本是否使用了该方法、采用什么光学配置、支持哪些输出，仍应由实际产品资料说明。作者参与研究，也不能自动推导为公司所有产品采用同一算法。

对已有DMS或OMS系统，更有用的下一步是先理解摄像头输入和应用目标，见《现有DMS和OMS摄像头能否扩展非接触生理感知？》；对健康座舱的整体价值，可以阅读《当汽车成为生活空间，健康座舱能为驾乘者做什么？》。将这一思路用于产品前，还需核对具体版本采用的方法、光学配置和输出。