AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:VideoMAE×
6月23日
10:37
10:37arXiv cs.LG@Chandranath Adak, Ramesh Nandipalli
该研究提出两阶段深度学习流水线:先用微调后的VideoMAE视频Transformer将手语视频片段分类为英文标签(在AI4Bharat印度手语数据集的13类子集上达到99%训练精度和78%验证精度),再用Meta的NLLB-200模型将英文标签翻译为印地语、泰卢固语和孟加拉语。实验使用13类197个片段、80-20分割,15个epoch后完成训练,并通过混淆矩阵揭示主要失败模式(如ugly/deaf/blind等形容词混淆)。研究还提供了Streamlit演示入口,支持用户上传视频并输出预测标签及三种方言翻译。论文代码已开源。
论文VideoMAENLLB-200AI4Bharat手语识别跨语言翻译

推荐理由:想了解手语识别和低资源语言翻译怎么落地?这篇用VideoMAE+NLLB-200直接搭了个两阶段流水线,13类测试精度78%,还带Streamlit演示和代码。
原文
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月9日
11:00
11:00arXiv cs.AI@Samuele Punzo, Niccolò Caselli, Ippokratis Pantelidis, Francesco Massafra, Salvatore Lo Sardo, Mohammadreza Salehi
精选
该研究通过冻结特征探测方法,在IntPhys2和MVP基准上评估了三种视频基础模型(V-JEPA、VideoMAE、LTX-Video)对直觉物理信息的编码能力。V-JEPA在整体表现上最强,尤其在使用建模时间动态的探测时;VideoMAE表现接近,而LTX-Video虽较弱但仍能提取有效信号。分层分析显示,物理相关信息在早期层最弱,在中后期层最易获取;打乱帧顺序会显著降低性能,尤其在MVP上。结果表明,直觉物理知识在预训练视频表示中可靠涌现,但其可获取性依赖于预训练范式、表示深度和读出机制。
论文视频基础模型直觉物理分层探测V-JEPAVideoMAE

推荐理由:这项研究揭示了视频模型理解物理规律的能力差异,对从事视频理解、物理推理或自监督学习的开发者有直接参考价值,建议关注V-JEPA在时间动态建模上的优势。
原文
精选全部日报登录