AITOP

预测模型

共 4 条相关 AI 资讯
7月9日
09:25
09:25官方账号arXiv cs.AI@Sahil Kale
该论文从时间维度研究大语言模型（LLM）的置信度估计，比较了预解答的Feeling-of-Knowing（FOK）和后解答的Judgement-of-Learning（JOL）在不同的前沿和开源LLM上的表现。实验表明，后解答置信度校准更好、判别力更强，而基于隐藏表示的线性探针能提取比模型显式表达更丰富的置信度信息。作者提出未来置信度蒸馏方法，使用后解答正确性探针作为教师，训练仅基于预解答隐藏表示的预测器。该预测器在仅用预解答信息的情况下恢复了后解答置信度的大部分校准改进，且样本效率高、在同类数据集间可迁移。
论文大语言模型置信度估计知识蒸馏预测模型
推荐理由：这篇论文提出了一种新方法，可以在模型回答之前就预测它的置信度，比传统方法更准更省计算成本。
原文
6月12日
00:46
6月3日
10:35
10:35官方账号arXiv cs.LG@Thomas Maillart, Thibaut Chataing, David Dosu, Paul Bagourd, Julian Jang-Jaccard, Alain Mermoud
该研究利用 OpenAlex 中量子计算子领域的概念共现网络，构建了时间分辨的概念对关系，并追踪每个概念对的上游引用谱系和下游扩散。研究者训练 LightGBM 模型，基于分布和多样性特征预测四个结果：内源强化、外源扩散、两者比率和扩散熵。在控制整体出版增长后，内源强化在量子计算基准中几乎不可预测，而外源扩散和熵的预测性很强（R² 高达 0.78），且由上游异质性、引用广度和分布离散度驱动。在机器人、先进材料和神经植入物领域的复现验证了外源扩散是跨领域的最可预测目标（R²_test 约 0.60-0.87），而神经植入物中内源预测性显著上升（R²_test=0.83），表明量子计算的不对称性并非普遍适用。案例研究显示，熵的急剧增加对应新概念前沿的开启，而熵的崩溃则标志技术收敛或范式更替。
论文概念扩散量子计算预测模型科学计量学LightGBM
推荐理由：这项研究为科学预测提供了可量化的新工具，做科技政策分析、创新管理或科研方向判断的团队，可以直接用其方法识别跨领域概念扩散的早期信号。
原文
5月25日
11:20
11:20官方账号arXiv cs.AI@Jiangwang Chen, Bowen Zhang, Zixin Song, Jiazheng Kang, Xiao Yang, Da Zhu, Guanjun Jiang
精选
当前大语言模型对话系统本质上是反应式的，只能在用户输入后响应。OnePred 提出通过递归更新的意图记忆来预测用户下一轮查询，无需重读完整对话历史。该方法采用两阶段强化学习训练，先教模型预测什么，再教如何压缩，形成面向预测的意图链。作者还发布了 NQP-Bench 基准测试集，包含三个子集。实验显示，OnePred 将每轮 token 消耗降低最多 22 倍，同时预测质量优于所有基线，在长对话中优势更明显。
论文对话系统预测模型强化学习意图记忆NQP-Bench
推荐理由：对话系统从反应式走向主动式的关键一步，做对话 AI 或智能客服的团队值得关注，OnePred 的递归记忆思路可以直接参考或复现。
原文