AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：统计方法×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
12:14
12:14arXiv cs.LG@Hanyang Jiang, Rina Foygel Barber, Ashwin Pananjady, Yao Xie
传统共形预测方法依赖数据可交换性和无记忆预测器，这在时间序列中不现实。近期研究表明分割共形预测对时间序列的依赖性和记忆性预测器具有鲁棒性，但分割会降低精度。本文发现原始留一法Jackknife在时间序列中可能严重损失覆盖率，因此提出“留窗口法”（LWO），通过修改Jackknife使其在温和稳定性条件下实现有效覆盖率。实验显示LWO在原始Jackknife失效时仍能保持有效覆盖率，且预测区间比分割共形预测更窄。
论文时间序列共形预测Jackknife预测推断统计方法
推荐理由：时间序列预测的置信区间一直是个难题，做时序建模的团队可以试试LWO——它比分割法更高效，也比原始Jackknife更可靠，值得在ARIMA或LSTM上跑一跑。
原文
5月21日
20:31
20:31Gary Marcus@GaryMarcus
72°
一项针对 210 项生物医学 AI 研究的元分析发现，97% 的研究在交叉验证下使用了无效的统计检验方法。该分析由 Thomas Yeo 团队完成，指出当前生物医学领域使用机器学习方法的研究在评估上存在系统性缺陷。这可能导致大量已发表结论无法被可靠复现，引发该领域的可重复性危机。研究者呼吁改进统计评估标准，以确保 AI 在生物医学中的可信应用。
论文生物医学 AI可重复性危机统计方法元分析机器学习评估
推荐理由：生物医学 AI 研究者、审稿人和临床 AI 产品团队需要警惕——97% 的统计方法无效意味着大量已发表结论可能不可靠，建议点开看看你的领域是否也在用这些无效检验。
原文
5月20日
10:13
10:13arXiv cs.AI@Yuxuan Gao, Megan Wang, Yi Ling Yu
精选
该研究将分裂共形预测和自适应共形推断（ACI）应用于连续AI智能体评估，提供无分布假设的覆盖保证。在24小时预测窗口内，共形区间在所有名义水平上的校准误差低于0.02，ACI在智能体发布后正确将区间扩大35%后重新收敛。研究还开发了多智能体管道的组合不确定性界限、成对排名的共形弃权规则（控制假排名率）以及排行榜级多重检验的FDR校正弃权。通过每小时收集18个实时信号评估50个智能体，发现每个智能体的条件覆盖集中在名义水平附近（均值80.4%，90%的智能体在[72%,90%]内），跨来源情感分歧可预测排名不稳定性（r=0.64, p<0.01）。代码和数据已以CC BY 4.0协议发布。
论文AI智能体评估不确定性量化共形预测排行榜统计方法
推荐理由：做AI智能体评估或排行榜的团队终于有了统计严谨的不确定性量化工具——无需分布假设即可保证覆盖，还能处理多智能体管道和排名稳定性问题，建议做评估基准的开发者直接看论文和代码。
原文