K-Means

concept · First seen 2026-06-04 · Last seen 2026-11-10 · 9 mentions

Overview

K-Means 是最经典的无监督聚类算法之一,通过迭代地把数据点分配到最近的簇中心并重新计算均值,将数据划分为 K 个簇。它因为实现简单、速度快、解释直观,至今仍是数据预处理、向量检索和大规模数据分析中的基础工具。

K-Means 近期进展

近期围绕 K-Means 的研究主要集中在两个方向:一是大规模场景下的工程加速,二是初始化与确定性的改进。

  • 2026 年 11 月,Meta FAIR 发布 e-means,作为 mini-batch k-means 的更快替代方案,并被并入 FAISS 1.16.0 版本,使向量聚类与索引构建的效率进一步提升。Meta FAIR 发布 e-means:更快替代 mini-batch k-means 并入 FAISS 1.16.0
  • 2026 年 6 月公布的 Flash-KMeans 提出 IO 感知型的精确 K-Means 实现,在 GPU 上比 FAISS 快 200 倍以上,说明即使是成熟算法,在系统层面的优化空间依然很大。Flash-KMeans:IO感知型精确K-Means,在GPU上比FAISS快200倍以上
  • 初始化质量一直是 K-Means 结果方差的主要来源。一篇 2026 年 9 月的论文提出 Sector-Mean 方法,通过角扇区划分对簇中心做确定性初始化,减少随机初始化带来的不稳定。Sector-Mean: Deterministic Initialization of K-Means Centroids via Angular Sector Partitioning
  • 相关生态也在扩展,如 Flash-GMM 针对软聚类(高斯混合模型)提出内存高效内核,与 K-Means 的硬聚类形成互补。Flash-GMM: A Memory-Efficient Kernel for Scalable Soft Clustering
  • 当前焦点与观察点

    从这些工作可以看出,K-Means 本身的算法框架已基本稳定,创新主要发生在“系统层”和“周边层”:系统层关注 GPU 利用率、IO 带宽和内存开销,FAISS 与 Flash-KMeans 的竞争就是典型例子;周边层则关注确定性初始化、与深度学习流程的集成,例如在语义搜索引擎构建、预训练数据混合(如 HERMES)等场景中,K-Means 仍被用作数据分组的基础组件。

    值得关注的观察点有三个:其一,FAISS 集成 e-means 后,实际生产环境中的聚类性能基准会随之变化,新工具能否稳定超过 mini-batch 方案仍待社区验证;其二,精确 K-Means 与近似方法在大规模向量检索中的取舍会持续讨论;其三,确定性初始化类方法如果被主流库采纳,可能改变用户对“聚类结果不可复现”这一长期痛点的预期。对于使用者而言,算法选型时除了精度,也应把实现库的硬件适配能力纳入考量。

    Coverage

    9 on file