基于深度学习的视频手语识别与跨语言翻译至印度方言

该研究提出两阶段深度学习流水线：先用微调后的VideoMAE视频Transformer将手语视频片段分类为英文标签（在AI4Bharat印度手语数据集的13类子集上达到99%训练精度和78%验证精度），再用Meta的NLLB-200模型将英文标签翻译为印地语、泰卢固语和孟加拉语。实验使用13类197个片段、80-20分割，15个epoch后完成训练，并通过混淆矩阵揭示主要失败模式（如ugly/deaf/blind等形容词混淆）。研究还提供了Streamlit演示入口，支持用户上传视频并输出预测标签及三种方言翻译。论文代码已开源。