IEEE TIM · 2023
Ivrr-PPG：抗光照变化的驾驶员心率监测
IEEE Transactions on Instrumentation and Measurement
仪器与测量领域的国际顶级学术期刊
面向道路驾驶中的光照变化，研究基于近红外成像的非接触式心率监测。
科思创动研究人员与清华大学研究人员共同署名。
解决方案中心 · 健康座舱
健康座舱解决方案
面向驾驶员与乘员，利用座舱摄像头非接触感知生理信号，结合多模态信息识别疲劳、紧张与情绪变化。状态结果经 SDK 或 API 接入座舱系统，支持驾驶安全提醒、全舱健康感知与个性化人车交互。
- 驾驶安全
- 驾乘生理感知
- 驾乘情绪感知
- 多乘员覆盖
- 座舱联动
- 人车交互
- 10+主机厂量产合作
- 30万+SDK 授权
- >90%疲劳与清醒度识别
- 多乘员座舱状态覆盖
行业洞察
座舱状态感知的五个难点
车内环境复杂、集成要求苛刻，状态识别必须同时做到准、稳、快。
- 01弱光与振动环境夜间行车、颠簸路面与逆光场景让常规视觉算法难以稳定工作。
- 02疲劳识别滞后依赖眨眼与头部姿态的方案发现疲劳时往往已经偏晚，缺少生理层面的前瞻信号。
- 03单一模态误报多仅看表情或动作难以区分疲劳、分心与情绪变化，误报削弱用户信任。
- 04集成周期长座舱系统集成链路长，算法需要在车规算力与系统架构上无缝接入。
- 05数据安全要求高车内影像属于敏感数据，处理方式必须满足车厂数据安全要求。
技术原理
驾乘人员的生理与多模态状态感知
座舱摄像头视频流经 rPPG 恢复与多模态交叉校验形成状态结果；基础能力无需大模型即可运行，接入科思大模型后进一步增强解读。
- 输入座舱采集
- DMS/OMS 座舱摄像头视频流
- 可复用现有车载摄像头
- 驾乘人员无感知
- 分析行车环境解析
- 弱光、运动与振动下恢复 rPPG
- 表情、姿态与个体属性
- 语音与语义分析
- 座舱场景理解
- 引擎科思多模态分析引擎
- 多模态数据融合互证
- 质量门控与置信度输出
- 车规算力平台适配
- 输出状态结果
- 疲劳与清醒度、心理紧张程度
- 情绪反应与状态变化
- API 输出供座舱调用
大模型增强接入科思大模型后，结合行程历史与座舱上下文综合解读驾乘状态，为人车交互策略与个性化服务提供参考建议。
公开研究成果
国际顶刊论文：车载感知与多模态情绪识别
从光照干扰抑制到跨模态融合，查看公司研究人员与公司股东参与的公开研究及其验证条件。
IEEE TAI · 2025
HCSFNet：层次化跨模态情绪识别
IEEE Transactions on Artificial Intelligence
IEEE 人工智能领域的重要国际学术期刊
研究 EEG 与视频特征的层次化融合，为多模态情绪识别提供算法思路。
公司股东徐明为第一作者，论文署名单位为清华大学自动化系。
核心能力
健康座舱的四大核心能力
覆盖驾驶安全、驾乘人员生理和情绪感知，并把状态结果接入座舱服务。
01驾驶安全
结合生理信号、表情与姿态观察驾驶员疲劳、清醒度和紧张状态，为座舱系统的安全提醒与分级处置提供输入。
02驾乘人员生理感知
面向驾驶员与乘员，在车内光照变化、运动与振动条件下恢复 rPPG 生理信号，提供心率、心率变异性等状态信息，支持全舱健康感知。
03驾乘人员情绪感知
结合表情、姿态、语音与生理信息交叉判断情绪反应和状态变化，为驾驶员与乘员的个性化服务提供参考。
04座舱联动与人车交互
状态结果经 SDK 或 API 接入座舱系统，按车厂业务规则完成安全提醒与座舱联动，并结合多乘员状态支持个性化人车交互。
应用场景
覆盖八类用车场景
从乘用车前装到运营车队，同一套能力适配不同业务形态。
- 乘用车前装随座舱平台量产交付的驾驶员与乘员状态感知。
- 商用车队货运与物流车队驾驶员疲劳与状态监管。
- 营运客车长途客车驾驶员状态实时监测与提醒。
- 危化品运输高危运输场景的强制状态监护与告警。
- 网约车运营运营平台的驾驶员健康管理接入。
- 驾培驾考培训与考试过程的状态观察记录。
- 保险服务驾驶行为与状态数据支撑的保险创新。
- 座舱健康监测健康座舱差异化体验与增值服务。
落地验证
经过量产验证的感知能力
自 2021 年首次量产交付以来持续迭代，覆盖多家主机厂车型。
- 01行车可用弱光、振动环境持续感知，动中亦精准。
- 02生理前瞻以不可控生理变化识别疲劳，早于姿态方案。
- 03多模互证表情、语音、姿态交叉校验，误报更低。
- 04量产验证10+ 主机厂合作，前装流程成熟。
- 05数据合规车端本地计算，原始影像按需保留。
- 06国产化适配国产算力平台与操作系统持续适配。
常见问题
关于健康座舱方案
健康座舱覆盖哪些能力？
健康座舱覆盖驾驶安全、驾乘人员生理感知和情绪感知。状态结果经 SDK 或 API 接入座舱系统，用于安全提醒、座舱联动与个性化人车交互。
夜间弱光环境能正常识别吗？
可以。算法针对车内弱光、逆光与运动振动环境长期迭代，在行车场景下仍可持续恢复 rPPG 生理信号并输出状态结果。
需要新增专用硬件吗？
前装项目可复用座舱现有 DMS/OMS 摄像头与算力平台，以 SDK 或 API 形态集成；后装与运营车队可用明眸模组或深识魔盒快速部署。
驾乘人员状态数据如何处理？
状态识别在车端本地完成，仅输出状态结果与置信度；原始视频可按车厂要求保留在本地或不上传，符合车内数据安全要求。
项目合作
项目咨询
直接联系我们。
科思创动专注于人体状态感知技术，为汽车前装与运营车队提供健康座舱解决方案，覆盖驾驶安全、驾乘人员生理和情绪感知，以及 SDK 与软硬一体产品。
电话：0755-23732105
