AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：复杂度指数×
6月16日
20:46
6月12日
12:57
09:50
09:50arXiv: DeepSeek@Fuqiang Niu, Bowen Zhang
研究者提出SICI（立场推理复杂度指数），一个七维诊断指标，用于衡量目标-文本对在语义和语用上的复杂度。该指数在SemEval-2016和VAST数据集上比表面代理指标更好地预测LLM的准确性，且具有较高的跨评分者信度（α=0.771）。关键发现是，随着SICI增加，LLM错误模式发生阶段转变：低复杂度样本易导致过度归因（尤其是反对立场），中等复杂度样本形成不稳定边界，高复杂度样本则快速集中到“无立场”预测。这种结构在GPT-3.5、GPT-4o-mini、DeepSeek-V3和GPT-4o中一致存在，但更强模型会移动边界。15种干预方法的实验表明，提示、检索和辩论往往只是沿归因-弃权轴移动模型，而非消除高复杂度的瓶颈。
论文LLM立场检测复杂度指数阶段转变评估方法
推荐理由：这项研究揭示了LLM在立场检测中的系统性错误模式，对做NLP评估和模型优化的团队有直接参考价值——SICI指数可以帮你快速识别模型在哪些样本上会失效，建议做立场检测或模型鲁棒性研究的点开看看。
原文
6月11日
15:28
15:23
15:07