MiniMax H3 出了个人物移除 LoRA,用 SAM 3.1 追踪再补背景,做视频擦人挺实用,模型在 Hugging Face 上能直接下。
#LoRA
把一份文档直接编译成 LoRA 权重,284B 的 DeepSeek v4 Flash 也能用,top-1 准确率从 63.4% 拉到 84.9%
论文教你看 agent 失败原因来决定改运行时框架还是微调模型,Qwen3.5 上从 0.16 拉到 0.30,做 agent 的都该看看这套诊断方法。
一篇很实在的参赛报告:LoRA 微调 Whisper 搞定阿拉伯语多方言和码切换识别,还公开了八个没做成的方向,做 ASR 的可以看看。
给医学问答做了个按问题动态分配 LoRA 秩的微调方法,在 Qwen3-8B 上比 LoRA r16 高了 1 个多百分点,专科越多优势越大,做医疗方向微调的可以看看。
本地小模型也能当药物发现的规划器了,Llama 3.2-3B 微调后工具调用准得吓人,就是碰到没见过的流程还会翻车。
教你怎么用几篇摘要就模仿某个作者的写作风格,试了 steering、LoRA 和 hypernetwork 三条路,hypernetwork 效果最均衡,做写作风格化可以参考。
Fulcrum 用 Fireworks API 和 Kimi K3 训练 Echo,成本仅 4500 美元,还分享了角色训练技巧。
斯坦福这门新课 9 讲把 LLM 从 RoPE 到 RLHF、MCP 全讲一遍,第一讲课件和视频已经免费公开,自学党可以直接开刷。
多智能体跑长任务时每个 LoRA 都重算一遍上下文,这篇论文给了一套免训练的共享方案,提速最高 3.1 倍,做 agent 服务的值得看看实现思路。
用 Qwen2.5-VL-3B 在 PMC-VQA 上做了严谨对照实验,发现答案准确率涨了,模型可能反而不看图了,做医疗 VLM 微调的都该看看。
一篇讲 LoRA 技能怎么叠加不互相干扰的论文,思路是把新适配器设计成只读旧技能的输入,合并进基座权重还零推理开销,SuperGLUE 比现有方法高了 20 多分。
OpenRouter 把 Kev 的底细公开了:就是 Qwen3.5-4B-Base 上加了个 LoRA 和 pointer head,权重在 Hugging Face 上,想研究小型模型微调的可以拆开看看。
Boltzbit 和剑桥搞了个新架构,把聊天里的新知识直接编译成 LoRA 权重写进模型,长对话和多轮场景下比 RAG 省算力还更准。
Boltzbit 和剑桥把对话内容动态编译成 LoRA 权重贴到模型上,长文档和多轮对话反超堆 Prompt,每轮算力还恒定。
朋友,Cognition 团队开源了一个叫 Kev 的小型决策模型,基于 Qwen3,你可以自己训练和本地部署,对消费级硬件很友好。
朋友复刻了 TypeSafe Jev,公开了所有数据和模型,用 9B 模型就逼近了 Jev 的表现,还公开了训练方法,值得看看。
这篇论文提供了Transformer注意力中LoRA秩选择的深入理论分析,对于理解LoRA在Transformer模型中的应用非常有帮助,特别是对于想要优化模型性能的工程师来说。
放疗圈看过来,这个模型把左前降支动脉分割做得更准,比nnU-Net和Swin UNETR都强,还用了LoRA省显存,值得试试。
想低成本做金融情感分析?RA-FinBERT用LoRA加规则特征,只加千把个参数就把准确率拉高6个点,中性类召回翻倍,值得看看。