模型精选

Cloudflare 发布 Clef-omni 开放权重决策模型,支持音视频输入

Cloudflare 推出开放权重决策 AI 模型 Clef-omni,新增支持音频 / 视频输入

精选理由

Cloudflare 把决策模型开源了,基于 Qwen3-Omni 改的,能直接吃音频和视频,21 秒视频 1.5 秒出结果。Clef-flash 还降价 58%,做结构化决策的可以试试。

Cloudflare 推出开放权重决策模型 Clef-omni,基于 Qwen3-Omni-30B-A3B-Instruct 构建,权重已在 Hugging Face 开放。该模型支持文本、图像、音频和完整视频输入,覆盖 wav、mp3、mp4、webm 格式,单次 API 调用即可处理。测试中纯文本请求中位响应约 130 毫秒,21 秒带声音视频约 1.5 秒完成评分。Clef-flash 输入价格从每百万 Token 0.09 美元降至 0.038 美元,降幅约 58%,上下文窗口从 64k 缩至 24k。

原文 · IT之家

Cloudflare 推出开放权重决策 AI 模型 Clef-omni,新增支持音频 / 视频输入

IT之家 10 月 10 日消息,Cloudflare 昨日(10 月 9 日)发布公告, 宣布推出开放权重决策模型 Clef-omni,支持单次 API 调用处理文本、图像、音频和视频等。 定位方面, 该模型在此前 Clef 系列模型基础上 ,扩展支持多模态输入,模型权重已在 Hugging Face 开放。 多模态支持方面,此前的 Clef 支持文本、图像及从视频中抽取的连续画面(把视频按时间抽取成一张张静态图像,再把这些图像按顺序作为输入交给模型),而 Clef-omni 新增音频和完整视频输入,支持 wav、mp3、mp4 和 webm 格式。 Cloudflare 称,开发者无需另行搭建语音转写及音视频拆分流程,可用一个模型处理多种输入。 Cloudflare 称,Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 构建,并保留其主要理解能力。模型面向结构化决策任务,不生成常规文本输出。公司公布的测试中,纯文本请求中位响应时间约 130 毫秒,图像约 150 毫秒;带声音的 21 秒视频约 1.5 秒完成评分。 基准测试 Clef-omni Clef Clef-flash Jev BFCL:精确匹配率 98.2 98.47 98.76 95.75 ToolRet:nDCG@10 66.6 69.19 66.43 65.28 API-Bank:准确率 92.7 91.93 93.11 88.19 家用电器:精确匹配率 69.3 82.95 97.73 52.27 When2Call:准确率 63.3 72.37 65.58 80.97 BANKING77:宏平均 F1 94.8 94.20 90.93 79.74 CLINC150+OOS:宏平均 F1 97.7 97.43 66.77 89.27 BRIGHT:nDCG@10 42.0 45.91 39.26 47.52 Amazon ESCI:宏平均 F1 57.8 57.48 57.39 55.21 PhishNChips:准确率 73.2 79.60 75.05 62.55 Cloudflare 还将 Clef-flash 每百万输入 Token 价格从 0.09 美元 (IT之家注:现汇率约合 0.6 元人民币) 降至 0.038 美元 (现汇率约合 0.25 元人民币) ,降幅约 58%。Clef-flash 托管版上下文窗口同步从 64k 缩至 24k。 模型 输入价格 输出价格 Clef-flash 每百万 Token 0.038 美元 (现汇率约合 0.25 元人民币) 每百万 Token 0.12 美元 (现汇率约合 0.8 元人民币) Clef 每百万 Token 0.24 美元 (现汇率约合 1.6 元人民币) 每百万 Token 0.72 美元 (现汇率约合 4.8 元人民币) Clef-omni 每百万 Token 0.15 美元 (现汇率约合 1 元人民币) 每百万 Token 0.60 美元 (现汇率约合 4 元人民币)