AI能通过表情和生理信号理解情绪吗？

同一个微笑，可能意味着什么？

朋友到来时的微笑、礼貌回应时的微笑、尴尬时的微笑，看起来可能相近。系统可以描述嘴角动作，却不能只凭它就知道用户是否开心。面部动作怎样对应情绪，是情感计算的研究问题。^[1]

表情分析提供的是面部动作线索。解释这些动作时，还要了解用户在做什么、与谁互动，以及用户自己怎样描述感受。

情绪、唤醒和压力，是不同概念

情绪通常涉及某种主观体验和情境；唤醒描述激活程度，既可能出现在兴奋时，也可能出现在紧张时；压力还可能指主观感受、任务要求或某种研究定义下的反应。

因此，研究中的“高唤醒”不能自动改写成产品中的“愤怒”，也不等同于“心理压力过大”。DEAP和MAHNOB-HCI等多模态研究，采用各自的刺激与自评标签来组织情绪数据。阅读结果前，应确认标签怎样定义、由谁评分。^[2][3]

图示可在框内左右滑动查看。

生理信息能补充什么？

心率、呼吸等信息可以反映身体节律的某些变化，但同一种变化可能出现在不同情境中。驾驶压力研究曾结合多类生理传感数据分析不同任务条件，这类研究使用多种生理记录，其结论对应特定任务条件；单一路摄像头输入需要另行验证。^[4]

一个实际的例子是：用户刚快步走过来，讲话急促，脸部出现变化。只看这些现象，系统不应急着推断“焦虑”。了解用户刚才的活动，有助于区分运动带来的变化与情绪相关变化。

多模态融合，为什么还要考虑缺失和冲突？

不同模态可以互补：视频反映面部与动作，音频反映声音表现，日志反映互动节奏，适用的生理输入又提供另一类信息。但麦克风受噪声影响、摄像头被遮挡时，系统要知道这些来源不能同等使用。

当信息冲突时，可以降低解释强度。例如，用户表情严肃，却清楚地表示正在认真思考，就不应被系统坚持判为愤怒。融合时，需要根据当前输入质量和语境判断各类线索的作用，信息冲突时也应保留不确定性。

怎样理解模型给出的分数？

分类模型常输出分数，但分数不自动等于现实正确概率。校准研究讨论了这两者可能存在的差距。^[5] 即使某模型在特定数据中表现较好，换一个人群、场景或目标，也不能把同名标签当作固定真值。

对普通用户，展示“置信度0.9”往往不如说明这段信息来自什么、在什么情境下可能有意义，以及哪些信息仍然缺失。需要采取下一步服务时，应当允许用户提供解释或拒绝，而不是让状态分数直接替人作决定。

情绪与状态线索怎样支持空间级服务？

设想在一个有智能镜、固定感知设备与服务机器人的室内空间中，用户在若干可比较的日常时段里出现了持续的活动模式变化；经授权获得的生理相关记录，也提供了与个人通常情况不同的线索。单凭这些线索不能确定是焦虑、疲劳或疾病，却可以帮助空间应用决定是否值得进一步了解，并将有来源、有时间范围的信息交给合适的交互入口。

如果用户愿意，系统可以通过智能镜或机器人解释观察到的变化，与用户商量是否调整活动安排、提供生活辅助、安排后续关注，或对接既有的照护服务。机器人承担沟通或部分执行任务，空间系统协调设备和服务；价值来自跨时间理解、服务目标的选择与多设备协同。状态响应是否真正改善体验仍须依据用户反馈，不能由执行了某项操作直接推断。^[6]

车内的情绪和负荷线索也应当回到具体驾驶任务：区分驾驶安全、驾乘服务与持续状态关注，由车辆应用在合适时机决定信息呈现和服务方式。单个情绪标签既不代表司机的真实感受，也不能直接触发车辆操控。

脑电与视频论文，能证明普通摄像头效果吗？

HCSFNet同时使用脑电（EEG）和视频。脑电由电极采集，摄像头单独输入时缺少这一路信息，因此需要单独验证摄像头方案的效果。^[7]

这篇研究可以帮助理解不同来源的信息怎样互补。设计实际应用时，还要确认有哪些输入可用，以及相应模型经过哪些验证。详见《研究解读｜HCSFNet为何结合脑电与视频进行情绪识别？》。

情绪相关线索应进入具体情境中的状态理解，为空间任务安排、生活服务和持续关注提供补充信息；用户的真实需要和反馈，始终比单个情绪标签更重要。