EdgeRock-4B

product · First seen 2026-10-23 · Last seen 2026-11-01 · 5 mentions

Overview

EdgeRock-4B 是 Rock Matrix 开源的一款 40 亿参数级图文推理小模型,核心特点是采用固定大小记忆(bounded state)机制来控制长上下文推理时的内存占用。与主流大模型依赖随序列长度线性增长的 KV 缓存不同,EdgeRock-4B 将推理过程中的状态限制在一个固定容量的缓存内,使其能在边缘设备上处理超长图文输入而不撑爆内存,是近期端侧小模型方向值得关注的一个开源项目。

EdgeRock-4B 近期进展

Rock Matrix 已正式开源 EdgeRock-4B 的模型权重,定位为可在资源受限设备上运行的图文推理小模型。据 TestingCatalog 的报道,该模型通过固定内存的方式支撑长推理过程,让边缘部署不必在长上下文能力和硬件成本之间做极端取舍,详情见 Rock Matrix 开源 EdgeRock-4B:固定内存的图文推理小模型。

在内存占用上,最直观的对比是:EdgeRock-4B 所基于的 Qwen3.5-4B 在处理 256K 上下文时,KV 缓存需要约 8 GiB 内存,而采用固定状态机制后这一开销被压缩到 72 MiB,缩减幅度超过一百倍。Pandaily 对此做了详细报道:Rock Matrix Open-Sources EdgeRock-4B, Cutting Qwen3.5-4B's 256K KV Cache From 8 GiB to 72 MiB。

从技术思路看,这类方法类似线性注意力或状态空间模型所追求的"常数状态"目标,即无论输入多长,推理时的激活内存保持恒定。Ate-a-Pi 的分析指出,EdgeRock-4B 的开源权重让开发者可以直接验证固定记忆设计在长推理任务上的实际表现:EdgeRock-4B 开源权重模型用固定大小记忆控制长推理内存占用。

当前焦点与观察点

EdgeRock-4B 引出的问题主要有两点。其一是固定记忆的代价:压缩 KV 缓存通常意味着丢弃部分历史信息,模型能否在 256K 级别的长文本和多图任务上保持接近全缓存的精度,仍需第三方评测验证。其二是对现有生态的兼容性:固定状态机制与标准 Transformer 推理栈差异较大,部署工具链和微调流程的支持程度会影响其实际采用率。

从趋势看,端侧与边缘推理正推动"常数内存长上下文"成为小模型的一个热门分支。EdgeRock-4B 的意义在于提供了一个可复现的开源参照——8 GiB 到 72 MiB 的量级差异让成本对比变得非常直观。后续值得关注的观察点包括:社区在长文档理解、多模态 agent 等任务上的实测结果,以及 Rock Matrix 是否会推出更大参数量或更高推理吞吐的后续版本。对需要在低内存硬件上做长上下文图文推理的团队来说,EdgeRock-4B 目前是少数可以直接拿来测试的选择之一。

Coverage

3 on file