12:32
官方账号arXiv cs.LG@Alaa Khamis, Alaa Maalouf
精选
推荐理由：HullFT 解决了测试时微调中检索和微调的双重瓶颈，做 LLM 推理优化的开发者可以直接尝试，能显著提升效率。
梯度缓存
共 1 条相关 AI 资讯
5月29日
12:32
测试时微调（TTFT）是一种新兴范式，通过检索相关序列并更新模型来适应每个提示，但现有方法在速度和效果间存在权衡。HullFT 提出几何方法，利用 Frank-Wolfe 优化将查询嵌入表示为稀疏凸组合，生成相关且多样化的支持集。通过几何整数化过程将分数权重转换为精确整数多重集，并利用梯度重用技术摊销重复微调的计算成本。实验表明，HullFT 在更低总运行时间下实现了更低的 bits-per-byte，优于当前最先进的 TTFT 方法。