模型可靠性相关 AI 资讯 · AI 热点

8月26日

01:39

01:39

Fireworks AI@FireworksAI_HQ

Frontier模型展示能力后，无法在生产规模上持续交付。9月2日，纽约：学习自己训练模型，然后上传到Azure Foundry。

AI模型 Frontier模型模型可靠性 Azure Foundry

推荐理由：想了解如何训练并使用Frontier模型？这篇报道提供了实用信息。

6月25日

10:45

10:45

官方账号arXiv cs.LG@Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli

精选

论文提出Facet-Probe审计框架，从选项、证据块、文档排序、图像集、混合模态五个维度测试18个前沿和开源MLLM的排序敏感性。采用贝叶斯项目反应模型分离排序噪声与各维度偏差，发现所有模型均非排序不变，各维度平均翻转率在24%至50%之间。Gemini在温度0下的同序控制显示，验证单元中存在远超解码器噪声的排序超额。最优模型仍有13.4%的试次输出翻转，提示词级缓解措施无法泛化到视觉推理。

论文 Facet-Probe MLLM Gemini

推荐理由：这篇论文用Facet-Probe测试了18个主流多模态大模型，发现它们对输入顺序都很敏感，最好的模型也错13.4%，提醒我们模型可靠性还不是想象中那么好。