#评测框架
4 stories · 0 in 7 days · 2 in 30 days
Stories, products and papers tagged "评测框架", newest first.
Oct 20
Oct 16
Chinese contentarXiv 论文提出统一评测框架,检验 LLM 智能体科学探究能力
七个模型在模拟科学探究任务里集体翻车,成功率低得离谱,但加个简单引导结构就明显变强,搞 agent 评测的可以看看。
Aug 4
Papers11:46
Chinese content解耦语义与视觉:为视觉-文本压缩评测引入ZeroSense基准DeepSeek-OCR这类压缩方法旧评测没测准,ZeroSense基准去掉语义干扰后,压缩质量和下游准确率明显脱节。
May 13
Chinese content三机制框架:LLM 如何处理训练知识与上下文冲突
这个框架解决了 LLM 行为研究中一个长期矛盾的谜题——为什么有的实验说模型死记硬背,有的说模型灵活跟随。做 LLM 评测或 prompt 工程的人,看完能更精准地预测模型在知识冲突场景下的行为,建议直接读原文的机制划分部分。