项目编号：202413631086

项目名称：基于深度学习的AI计算机系统的设计与优化

执行时间：2024年7月至2025年6月

项目成员：刘志林 王睿 张翔宇 李佳豪 童启凌 刘校辰

指导教师：解天霞（讲师） 软件与大数据技术系

项目简介：

项目名称为基于深度学习的AI计算机系统的设计与优化，分为三大功能模块：人脸打卡模块、状态监测模块、教学模块。人脸打卡模块采用CNN模型深度学习框架TensorFlow、Keras训练CNN模型，进行人脸识别，自动完成学生的打卡操作，提高签到效率并减少人工错误。状态监测模块分为头部姿态检测模块利用CNN模型识别学生的头部转动，分析学生的注意力集中程度和参与度、手势识别模块通过CNN模型检测特定手势，监测学生的学习行为和可能的分心行为。教学模块通过DranGo框架构建前后端完全分离的教学模块，结合vue、时间序列Lstm实现了查看教学资源、在线测试、成绩预测等功能。

创新点：

1：人脸识别特征融合机制：将面部特征点与基于深度学习的人脸特征结合，实现优势互补。结合TensorFlow和Keras框架，利用VGG16预训练模型，配合dlib的面部特征点检测,模型以VGG16作为核心，通过加载预训练的VGG16模型并进行微调，以适配面部识别任务。并且模型采用Adam优化器进行训练，使用稀疏分类交叉熵作为损失函数，适应多类别的面部识别需求。

2：在传统的教学资源网站的基础上，加入了人脸识别考勤、教师与学生互动、在线测试、成绩预测、可视化大屏监控，能够直观的查看学生的学习状态、了解课程教学的质量、了解学生的学习情况等，克服了传统的教学资源网站功能点单一以及反馈渠道不足的缺点。

取得成果：

1：帮助325学生能够在课后时间自己查看、学习所学课程知识，巩固学习成果。

2：帮助10名教师高效管理班级。

3：帮助学生更好的查找自身不足以及通过成绩预测及时的调整自身的学习状态。

心得体会：

在参与本项目开发的过程中，深刻体会到AI技术对教育场景的革新力量。当我调试的人脸打卡模块首次精准识别全班同学时，那种技术落地的成就感至今难忘；在状态监测模块中，看到CNN模型通过头部姿态捕捉到学生从走神到专注的细微变化，让我惊叹于算法的感知能力；而教学模块的成绩预测功能，更让我亲历了LSTM如何从历史数据中挖掘学习规律。过程中遇到过模型误识别的挫折，也经历了优化参数时彻夜调试的疲惫，但最终打通技术闭环时，我真正理解了"AI赋能教育"不仅是概念——它让管理更高效，让教学有据可依，也让我对技术人的社会责任有了更深切的认知。

相关图片：