参数高效相关 AI 资讯 · AI 热点

8月26日

10:21

10:21

官方账号arXiv cs.LG@Meghal Dani, Stefanie Liebe

研究参数高效的自监督适应，仅更新9%的参数即可对齐表示以适应目标任务。在两个模型BIOT和CBraMod上评估，在三个临床EEG数据集上测试，表现优于线性探测，AUCPR提升20倍。固定计算预算下，峰值性能仅需20-50%的无标签数据。性能与患者数量无关，仅依赖于时间窗口的多样性。代码可在GitHub获取。

论文 EEG-FM 自监督学习参数高效

推荐理由：这项研究展示了如何通过参数高效的自适应，在有限的计算和数据收集负担下，有效地部署EEG基础模型（EEG-FM），值得一看。

7月14日

12:10

12:10

官方账号arXiv cs.LG@Romain Amigon

该论文提出了一种结合自回归Transformer控制器（强化学习训练）和人工蜂群算法（ABC）的混合NAS框架，可在消费级GPU（NVIDIA RTX 3060）上运行。在CIFAR-10数据集中，该方法用3小时搜索到参数量约17.4万的架构，达到84.85%准确率，规模和搜索成本均低于ResNet-20。在信用卡欺诈检测任务上，优化F1-Score达到0.71，模型仅需约4600参数。该框架解决了元启发式方法的冷启动问题，并通过深度惩罚抑制模型臃肿。

论文 NAS Transformer 神经架构搜索

推荐理由：这篇论文告诉你，不用几千GPU天也能搜出好架构，普通3060显卡3小时就能找到比ResNet-20更小的CIFAR-10模型，还能直接优化欺诈检测的F1分数。

7月8日

12:06

12:06

官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

PACR-Video提出一种参数高效的多镜头长视频外推框架，冻结文本到视频扩散变换器，仅添加低秩时间适配器并由学习到的镜头角色提示令牌调节。它构建递归提示库，存储前一镜头的实体、位置、动作和风格提示，通过适配器门根据预测叙事依赖路由。在6个多镜头和长视频基准上，PACR-Video在分布质量、语义对齐、身份一致性、时间平滑性、运动稳定性、过渡连贯性和人类偏好上均优于文本到视频、基于微调、记忆增强、流式和递归上下文基线。实验表明，紧凑提示路由和轻量时间适配提供了足够可控能力实现稳定长视频外推。

论文 PACR-Video 视频生成提示路由

推荐理由：看看这篇论文，PACR-Video用提示路由和轻量适配器让长视频生成更稳定，不需要全量微调，在6个基准上全面领先。