Chinese contentPACK3D 提出针对打包 3D 数据的局部-全局注意力算子
做 3D 视觉或体数据建模的可以看看：这篇指出了 packed attention 学到内存布局而非几何的坑，PACK3D 用真实坐标的轴向 RoPE 解决，还有 Triton 实现，65k token 下速度和窗口注意力一样快。
做 3D 视觉或体数据建模的可以看看：这篇指出了 packed attention 学到内存布局而非几何的坑，PACK3D 用真实坐标的轴向 RoPE 解决，还有 Triton 实现，65k token 下速度和窗口注意力一样快。