精选理由
真的得自己测测模型,别光看跑分——比如Gemini 3.1和GPT-5.5在担心亏损上表现不一样,别人测的不等于你用的。
作者指出,当涉及多个判断和决策叠加时,不同模型的差异会显著放大。标准基准测试无法反映这种差异,例如Gemini 3.1和GPT-5.5对咖啡馆财务损失的敏感度可能截然不同。用户需要自行针对特定任务进行基准测试,才能获得真实可用性评估。
AI 翻译 · 中文
作者指出,当涉及多个判断和决策叠加时,不同模型的差异会显著放大。标准基准测试无法反映这种差异,例如Gemini 3.1和GPT-5.5对咖啡馆财务损失的敏感度可能截然不同。用户需要自行针对特定任务进行基准测试,才能获得真实可用性评估。
You really need to benchmark models for your use case. As soon as judgements & decisions stack on top of each other, the differences between models amplifies, and no standard benchmark will tell you that Gemini 3.1 i…