AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：立场检测×
6月16日
20:46
6月12日
12:57
09:50
09:50arXiv: DeepSeek@Fuqiang Niu, Bowen Zhang
研究者提出SICI（立场推理复杂度指数），一个七维诊断指标，用于衡量目标-文本对在语义和语用上的复杂度。该指数在SemEval-2016和VAST数据集上比表面代理指标更好地预测LLM的准确性，且具有较高的跨评分者信度（α=0.771）。关键发现是，随着SICI增加，LLM错误模式发生阶段转变：低复杂度样本易导致过度归因（尤其是反对立场），中等复杂度样本形成不稳定边界，高复杂度样本则快速集中到“无立场”预测。这种结构在GPT-3.5、GPT-4o-mini、DeepSeek-V3和GPT-4o中一致存在，但更强模型会移动边界。15种干预方法的实验表明，提示、检索和辩论往往只是沿归因-弃权轴移动模型，而非消除高复杂度的瓶颈。
论文LLM立场检测复杂度指数阶段转变评估方法
推荐理由：这项研究揭示了LLM在立场检测中的系统性错误模式，对做NLP评估和模型优化的团队有直接参考价值——SICI指数可以帮你快速识别模型在哪些样本上会失效，建议做立场检测或模型鲁棒性研究的点开看看。
原文
6月11日
15:28
15:23
15:07
5月28日
11:35
11:35arXiv: Anthropic@Thomas Mbrice
该研究首次将立场检测应用于预测市场（如Polymarket）的评论，这些评论包含价格无法捕捉的方向性信号。由于评论极端简短、存在特定行话且类别严重不平衡（仅8.7%的评论反对市场结果），研究通过微调RoBERTa-base模型，探索了四种输入配置和三种数据增强条件。结果表明，市场上下文是最关键的因素，能将反对类别的召回率从0.10提升至0.45；反事实增强在弱配置下有效（F1从0.10升至0.24），但在强配置下会降低性能；50%的增强比例是最优剂量。注意力可解释性分析为所有发现提供了机制支持。
论文立场检测预测市场反事实增强数据不平衡Polymarket
推荐理由：做金融舆情或预测市场分析的团队会感兴趣——这篇论文用反事实增强解决了极端不平衡数据下的立场检测难题，50%合成数据是最佳实践，值得在类似场景中尝试。
原文