#模型架构

Kimi、DeepSeek和字节跳动各自提出不同方法解决深度诅咒，DepthBench将对比效果。

AI Will@FinanceYF52 个信源在谈原文

Jev 是一个新模型架构，专门为通用分类任务设计，能优化模型性能。

Jerry Liu@jerryjliu0原文

朋友，这个观点挺有意思，说模型架构复杂度提升可能引发未知问题，这点挺有深度的。

Junyang Lin@JustinLin610原文

这篇论文揭示了MoE模型推理过程中路由相似性的集中-分化-再集中规律，为理解MoE内部计算提供了新视角。

Qwen4 新架构即将到来，看看和之前的版本有什么不同吧！

orange.ai@oran_ge10 个信源在谈原文

DeaMoE让MoE小批量解码少搬权重、跑得更快，7B模型在A40上TPOT提速33%，DeepSeek-V3加速近2倍。

有人发推吐槽 DSH 和 Transformer 都是技术自嗨，虽然只有 1152 次浏览，但观点值得围观。

orange.ai@oran_ge原文

DeepSeek改了Engram的哈希方式，不同tokenizer之间不用再各自训练，效果还一样，做多语言模型的可以看看。

这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。

DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。