AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

OpenLLaMA-3B

共 1 条相关 AI 资讯
7月31日
11:26
11:26官方账号arXiv cs.LG@Anubhav Lakra, Yue Feng
CACHE-UK是一种针对量化金融大模型的稳定性感知记忆编辑框架。它在4-bit量化的OpenLLaMA-3B上,使用rank-1 LoRA扰动将编辑限制在低秩适配器子空间,并引入金融领域优先级模块和闭环稳定性控制器。在包含88,021篇英国金融文档的语料上,CACHE-UK将知识退化相对降低11-17%,测试泛化率达28%,比最强适配基线高6个百分点。绝对泛化率仍然较低。
论文CACHE-UKOpenLLaMA-3B4-bit量化

推荐理由:CACHE-UK给量化小模型做连续记忆编辑,在4-bit下比现有方法少掉11-17%的知识,泛化率还高6个点。
原文
精选全部日报登录