Kernel（计算内核）是深度学习框架中最底层的计算单元，指运行在 GPU、TPU 等硬件上执行矩阵乘、注意力等具体运算的代码片段。在大模型推理成本居高不下的背景下，Kernel 优化已成为决定 AI 公司收入与竞争格局的关键变量——同样的模型、同样的硬件，内核写得更好，吞吐和延迟就能显著提升。
Kernel 近期进展
当前焦点与观察点
Kernel 优化当前有两条主线。其一是多硬件竞争：NVIDIA 长期凭借 CUDA 内核生态占据优势，而 PyTorch 原生支持 Trainium、FlyDSL 拉动 AMD MI350 性能，说明框架层正在把"写一次代码、跑遍多种芯片"变成现实。对采用自研芯片的云厂商而言，内核生态的完善程度将直接决定其芯片能否被开发者真正用起来。
其二是性能即收入的行业共识。当推理开销成为大模型公司最大的运营成本，内核工程师的价值被重新定价，围绕 vLLM、SGLang 等框架的内核贡献已成社区热点。PyTorchCon 北美 2026 在圣何塞开幕并设置七大技术议题，可以预期内核与编译器（如 torch.compile）仍是核心议题。
值得警惕的是安全问题：一项研究展示了 LLVMhammer 可通过 Rowhammer 位翻转让 LLM 推理变慢 4-16%，提示内核与内存管理层的微小扰动就能被武器化，性能优化的同一攻击面也可能成为安全风险。总体来看，Kernel 正处在从"专家手工调优"向"DSL 生成＋自动调优＋跨硬件编译"过渡的阶段，未来一年其与编译器栈的融合值得关注。