iPhone 17 Pro AI performance ranking
Artificial Analysis 公布苹果 iPhone 17 Pro 跑 8GB 以内本地 AI 性能排名
Nanbeige4.2-3B from BOSS直聘's 南北阁实验室 matches top models at 30B parameters, offering competitive AI performance for mobile devices.
Artificial Analysis and Liquid AI released mobile AI benchmark tests on 24 Aug 2024 for iPhone 17 Pro. They tested 5 benchmarks including BFCL, IFBench, AA-Omniscience, GPQA Diamond, and MATH-500. Nanbeige4.2-3B and LFM2.5-2.6B scored highest with 16K token context limit. LFM2.5-8B-A1B ranked first with 1-minute response time limit.
Artificial Analysis 公布苹果 iPhone 17 Pro 跑 8GB 以内本地 AI 性能排名
IT之家 8 月 26 日消息，Artificial Analysis 于 8 月 24 日发布博文，宣布携手 Liquid AI，发布面向手机端的 AI 跑分基准， 重点关注 AI 模型在苹果 iPhone 17 Pro 上的表现。 其中 Artificial Analysis 负责智能水平测试系统，Liquid AI 负责推理性能测试系统，双方选用 5 项基准测试： BFCL（Berkeley 函数调用排行榜） IFBench（指令遵循测试） AA-Omniscience（知识与认知相关测试） GPQA Diamond（高难度问答测试） MATH-500（数学问题测试）。 测试模型对象为 4 bit 量化后体积不超过 8GB 的模型，示例包括 Gemma 4 E2B 和 LFM2-2.6B-Exp。 当上下文长度限制为 16K tokens 后，平均基准测试得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。当响应时间限制为最长 1 分钟时，LFM2.5-8B-A1B 排名第 1，随后是 LFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）和 Granite 4.1 8B。 Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出，仅含 30 亿非嵌入参数（总参数约 40 亿），采用 Looped Transformer 架构，通过在不增加参数量的前提下复用 Transformer 层（循环两遍），提高模型的有效计算深度和容量。 横轴表示“输出 256 个 token 所需的时间（秒）”，纵轴表示“上下文长度限制为 16K 个 token 时的平均基准测试得分”。“Nanbeige4.2-3B”的基准测试得分与“LFM2.5-2.6B”相当。 在上下文长度限制为 16K 个 Token 时，平均基准测试得分中得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。 当响应时间限制为最长 1 分钟时，LFM2.5-8B-A1B 排名第 1，随后是 LFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）和 Granite 4.1 8B。 IT之家附上相关截图如下：
