Anthropic发布Haiku 5.5在ARC-AGI评测中表现优异

Anthropic发布了小模型Haiku 5.5，在ARC-AGI-1基准测试中达到89.0%的准确率，任务成本为0.051美元。在ARC-AGI-2测试中，Haiku 5.5准确率达到61.3%，每任务成本0.085美元。在最新的ARC-AGI-3测试中，使用provider adapter harness获得2.8%的准确率，成本437美元；使用standard harness获得0.5%的准确率，成本388美元。