Underdog AI 发布 Saluki 27B:基于 Qwen3.8-27B 的 2-bit 量化版本
Underdog AI 发布 Saluki 27B 模型:2-bit 量化 Qwen3.8-27B,7.89GB 大小
Underdog AI 把 Qwen3.8-27B 压到 2-bit,只有 7.89GB 还能跑工具调用,日常推理比原版还强,本机部署党可以试试。
Underdog AI 发布 Saluki 27B 模型,是 Qwen3.8-27B 的 2-bit 量化调优版本,文件大小仅 7.89GB,只保留文字输入输出能力。官方称其针对智能体应用设计,擅长日常推理和工具使用,数学表现相对较弱。工具选择和多工具并行调用表现优于全尺寸的 Qwen3.8-27B。模型采用标准 llama.cpp 格式,无需自定义编译即可加载。
Underdog AI 发布 Saluki 27B 模型:2-bit 量化 Qwen3.8-27B,7.89GB 大小
IT之家 10 月 10 日消息,人工智能实验室 Underdog AI 本月发布了 Saluki 27B 模型。该模型是 Qwen3.8-27B 的 2-bit 量化调优版本,仅保留文字 I/O 能力, 文件大小则仅有 7.89 GB 。 Underdog 表示,Saluki 针对智能体应用设计, 长于日常推理和工具使用 ,数学表现则相对逊色。其工具选择和多工具并行调用表现甚至优于全尺寸的 Qwen3.8-27B。 Saluki 模型使用标准的 llama.cpp 格式,可在标准的 llama.cpp 以及基于它构建的应用程序中加载,无需任何自定义编译。 参考 https://underdog.ai/underdog-27b https://underdog.ai/saluki https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
- Merve Noyan10-09 16:18原文