10:28arXiv cs.AI@Marek Šuppa, Andrej Ridzik, Daniel Hládek, Natália Kňažeková, Viktória Ondrejová研究团队发布了SkMTEB,这是斯洛伐克语首个全面的MTEB风格文本嵌入基准,包含31个数据集和7种任务类型,覆盖深度是现有多语言基准的近4倍。评估31个嵌入模型后发现,大型指令微调多语言模型表现最佳,而斯洛伐克语专用NLU模型在嵌入任务上迁移效果差。为满足高效本地部署需求,团队通过词汇修剪和微调Multilingual E5模型,开发了e5-sk-small(45M参数)和e5-sk-large(365M)模型,体积最多减少62%,性能却与商业API相当。所有基准、模型、数据集和代码均已开源,为其他低资源语言提供了可复现的路径。论文文本嵌入低资源语言斯洛伐克语MTEB基准开源/仓库推荐理由:低资源语言NLP开发者终于有了可本地部署的高效嵌入方案——e5-sk系列在体积缩减62%后仍能匹敌商业API,做斯洛伐克语语义搜索或RAG的团队可以直接用开源模型替代付费服务。原文
12:00arXiv cs.AI@Jonah Leshin, Manish Shah, Ian Timmis精选该研究提出了一种通过分析技能文件、记忆文件等文本编辑来测量智能体特质的方法。研究者将特质定义为文本嵌入空间中的方向,通过训练线性模型学习特质向量,并利用嵌入差异投影来评分任意技能编辑。在68个标注数据上,该方法对敏感数据获取倾向特质的符号分类准确率达91.2%,斯皮尔曼秩相关系数为0.82。该框架还支持智能体间通过可信中介评估技能文件更新,为自适应智能体的行为监控提供了新工具。论文智能体行为追踪特质测量技能文件文本嵌入推荐理由:这项研究解决了自适应智能体行为难以量化追踪的痛点,做AI安全、智能体行为分析的团队可以直接用这套方法评估模型特质变化,值得关注。原文