Subquadratic

general · First seen 2026-06-11 · Last seen 2026-10-12 · 6 mentions

Overview

Subquadratic(次二次复杂度)指计算量随输入长度增长低于二次方的一类模型架构设计,主要用于解决 Transformer 注意力机制在长上下文场景下算力开销过大的问题。近期,Subquadratic 公司发布了面向企业决策场景的 SubQ Snap 模型,宣称实现了线性扩展能力,让这一技术方向从论文走向了商用产品。

Subquadratic 近期进展

  • SubQ Snap 决策模型实现线性扩展,384K 上下文 660ms 起步:SubQ Snap 宣称在 384K tokens 的上下文长度下,推理延迟可低至 660ms,实现线性扩展。若数据属实,这相对于传统二次方复杂度的注意力机制是数量级上的改善,但独立复现结果尚待观察。
  • Subquadratic 发布 SubQ Snap 决策模型,单次支持 384K tokens:该模型定位于企业决策辅助场景,单次输入支持 384K tokens,可直接处理超长报告、合同等文档,无需分块检索。
  • 研究提出 SQD 方案优化异构系统下子二次注意力推理效率:学术界的 SQD 方案针对异构硬件环境优化子二次注意力的推理效率,说明该方向的优化已从算法层延伸到系统层。
  • On Subquadratic Architectures: From Applications to Principles:该论文尝试从原理层面统一解释各类次二次架构的有效性,反映出这一领域正从零散的工程技巧走向系统化的理论框架。
  • 当前焦点与观察点

    Subquadratic 方向的核心争议在于线性或次线性的复杂度优势往往伴随精度或表达能力的折损。此前线性注意力、状态空间模型等技术路线在长文本检索、精确复制等任务上表现不及标准注意力,因此 SubQ Snap 声称的 384K 上下文 660ms 延迟,需要在实际企业任务中验证其输出质量是否达标。

    值得关注的三个观察点:一是基准测试之外的第三方评测结果,尤其是长上下文"大海捞针"类检索精度;二是定价与部署成本,次二次架构通常需要专用推理栈,落地门槛是推广关键;三是头部实验室是否跟进——如果主流模型同样通过混合架构实现长上下文降本,Subquadratic 作为独立厂商的差异化空间将被压缩。总体来看,这一领域正处在从论文验证到商用检验的过渡期。

    Coverage

    5 on file
    Subquadratic · AI 话题观测|AI热报