12:25
官方账号arXiv cs.AI@Divya Mereddy, Jeevan Beedareddy
推荐理由：想用LoRA做多模态融合？这篇用级联方式逐步整合不同模态，在医疗动作识别上效果不错，还开源了代码，可以看看。
动作识别
共 1 条相关 AI 资讯
7月14日
12:25
该论文提出一种基于低秩适配（LoRA）的级联多模态融合框架，用于医疗培训环境中的动作识别。框架先整合相关性高的模态（如RGB、骨骼），再逐步加入异质模态（如音频），无需重新训练先前组件。在NurViD和Nurse Training两个数据集上评估，级联融合策略优于单模态模型，与先前报告的数据集特定基线（如基于Transformer的方法）性能相当。代码已在GitHub开源。