基于多模态视觉特征融合的实时行为检测与分析系统

基于多模态视觉特征融合的实时行为检测与分析系统

叶继阳¹，屠益军²

1. 金华职业技术大学信息工程学院，浙江金华

2. 杭州达那福医疗器械有限公司，浙江杭州

摘要：针对长时间单调作业场景中人员疲劳与分心行为难以实时监测的问题，本文提出了一种基于多模态视觉特征融合的实时行为检测与分析系统。该系统融合了YOLOv8目标检测网络、MediaPipe面部关键点定位以及传统计算机视觉方法，构建了多层次的行为识别流水线。在特征层面，系统同时提取眼部纵横比（EAR）、嘴部纵横比（MAR）、头部姿态角以及手部－面部空间关系等多维特征，通过时序状态机模型对瞬时检测结果进行时序融合，有效降低了误报率。系统还集成了基于大语言模型的智能数据分析模块，能够自动生成结构化的行为评估报告。实验结果表明，该系统在真实场景下对闭眼、打哈欠、低头及手持电子设备等行为的综合检测F1分数达到91.2%，平均推理延迟为38ms/帧，满足实时性要求。此外，系统提供了完整的数据管理、可视化分析及多格式导出功能，具备良好的工程实用性。