这篇论文给出了一个实用技巧:用蒸馏扩展支持域再强化学习,在数学和代理任务上都涨点明显,而且不需要改动模型结构。
Latest
bottlecapai 用 Qwen3.6-27B 微调的新模型能省一半推理 token,最快省九成,适合低成本推理场景。
桥水和Mira Murati团队发现,GPT和Claude在金融判断上准确率才70%,不如微调的Qwen3-235B的84.7%,成本还低14倍。
阿里和蚂蚁团队搞了个优化,Qwen3-Omni实时对话延迟从6秒降到0.6秒,吞吐还翻了5倍多,推荐看技术博客。
PAW让模糊函数(如日志告警、修复JSON)不再依赖大模型API。用4B编译器一次编译,0.6B小模型就能跑出32B的效果,还省内存和算力。
ReContext不用训练就能让模型用上长文里的关键信息,Qwen3和Llama3上都有效,适合处理超长文档推理。
SGLang团队用Agent自动化优化推理管道,实测吞吐涨71%,TTFT砍半,还省了10GB显存,硬核经验值得看。
NVIDIA新出的Qwen3.6-27B模型,4位量化体积小很多但精度没怎么降,SGLang直接就能用,可以去试试。
Qwen3.6-27B-NVFP4来了!在Blackwell上内存减半,MMLU Pro 86.3分,用vLLM就能跑,开源模型本地AI更省显存。
这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果,还揭秘中间层才是关键,刷新认知。
这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力,性能只掉了0.5%,方法很巧妙。
这篇论文告诉你:选对优化器能把模型对齐率差7倍,Muon比Adam更靠谱,还能用谱正则化补救。
这篇论文用Qwen3-14B和DPO实验证明,离线训练越保守,在线适应越容易翻车,还在GSM8K上给出了最优保守度公式。做RLHF的值得一读。
Empero AI 开源的 Qwythos 9B 把 Qwen3.5 和 Claude 思维链结合,1M 上下文加 Function Calling,量化后 5.2GB 的推理模型,低配机器也能跑。
这篇论文搞明白了推测解码里那些花式接受规则到底行不行,给出了数学保证,还在Qwen3上验证了,搞推理加速的值得一看。
这篇论文告诉你,你以为可靠的GPT-4o评估器可能几周后就失效了,它还给了你一个EPC框架来自己检查。
如果你对多语言OCR或印地语文本识别感兴趣,这篇论文揭示了主流模型在天城体上的真实差距,尤其是GPT-5.5表现不如开源Qwen3-VL-8B。
前Meta产品经理说欧美企业会抛弃OpenAI和Anthropic转向中国开源模型,因为能本地部署、定制微调,成本还低。想省钱的老板可以听听。
vLLM团队分享了优化四种主流TTS模型服务的具体技巧,包括性能提升数据和实现细节,对部署TTS服务很有参考价值。
他们提出了 TRL,让强模型和弱模型组队推理,强模型学会写弱模型能看懂的推理过程。训练 Qwen3-4B 后,单打能力不降,协作能力更强。
Liquid AI 出了个超小模型 LFM2.5-230M,手机跑 213 tokens 每秒,树莓派也能跑 42,指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。
Ollama 现在可以直接跑 Ornith 编程智能体了,从 9B 到 397B 都有,SWE-Bench 拿了 82.4 分,本地搞智能体编码超方便。
北大和DeepSeek开源了DSpark,能让高并发下大模型生成速度提升最多85%。想提速可以试试。
Ornith-1.0 开源了从9B到397B的编程模型,在SWE-Bench等基准上超越Claude Opus 4.7,还能自己优化任务框架。
这篇论文测试了四个主流实时语音AI处理哭泣、恐惧、讽刺时的表现,结果它们能听出情绪却不当回事,甚至误判口音和年龄。用语音AI处理敏感场景要小心。
论文提出SARA方法,用语义锚对齐MoE路由,让低资源语言也能用好专家能力,Global-MMLU提升0.8%-1.2%。
UC San Diego搞了个新方法DFlash,用扩散模型直接生成整段token,比自回归快几倍,Qwen3-8B上6倍加速,Blackwell上15倍,还开源了检查点,搞推理加速的可以看看。
阿里云QoderWork搞了个夜间优惠,Qwen3.7-Max最低2折,积分花得少,适合睡前扔个长任务,早上验收。
这篇论文把LLM不确定性拆成四个层面,测了21种方法在多个基准上的效果,结论是共识方法最稳,模型越大越不模糊。
极摩客发了款迷你主机,锐龙AI Max+ 395,126TOPS算力能本地跑235B模型,性能比RTX 4090还猛,21699元起。
这篇论文告诉你:给编码智能体写AGENTS.md时,别一次性写好就完,得用探针-改进法迭代修。实测在SWE-bench上解决率涨了近5个点,主要是能让智能体多搞定14.5%的实例。
论文提出了 SoftSkill,能把复杂技能压缩成几个虚拟向量,用 Qwen3.5-4B 测试,数学题直接涨了 42 个点,比 SkillOpt 还强。
这篇论文给出了一个简单实用的方法,让智能体在任务模糊时主动提问,而非盲目执行。五个大模型上都有提升,值得做Agent的同学看看。