03:05@koltregaskes@koltregaskes精选前沿模型成本上升、令牌使用量攀升以及近期禁令,使企业自建AI变得更加必要。通过下载Llama或Qwen等开源模型,使用LoRA在自有数据上微调,部署在自有基础设施,可一次性计算成本取代按席收费。Hugging Face和LoRA已降低技术门槛,关键在于管理层是否将其视为基础设施投资而非普通软件开支。行业LlamaQwenLoRAHugging Face微调推荐理由:前沿模型越来越贵还被禁,自己微调Llama或Qwen更可控,一次性投入省月费,数据也安全。原文
20:16vLLM@vllm_project精选73°vLLM v0.23.0 包含 408 次提交,来自 200 位贡献者(63 位新贡献者)。主要亮点:DeepSeek-V4 在多个后端上成熟,引入 TRTLLM-gen attention 内核、与 V3.2 解耦的稀疏 MLA 以及用于 Mega-MoE 的 EPLB 调度。Model Runner V2 现已成为 Llama 和 Mistral 稠密模型的默认运行器。新增 Gemma 4 Unified(无编码器)及 MTP 支持。还提供了多层级 KV 缓存卸载(含对象存储层)和统一的推理与工具调用解析器。AI产品vLLMDeepSeek-V4LlamaGemma 4推理引擎4 个信源在谈推荐理由:vLLM v0.23.0 大更新,DeepSeek-V4 和 Llama 用户值得升级,新的 KV 缓存卸载能省显存,推理与工具调用解析也更顺了。原文
06:12Gary Marcus@GaryMarcusGary Marcus在X上发文指出,扎克伯格和LeCun单方面决定开源Llama模型,可能部分催化了中国AI产业的发展,并对美国商业利益造成巨大损害。他引用nxthompson的数据显示,自今年年初以来,美国AI初创公司正显著转向使用中国模型。这一趋势引发了关于开源策略对地缘政治和产业竞争影响的讨论。Marcus认为,现在开始看到这些决策的后果。行业开源/仓库Llama中国AI地缘政治美国AI推荐理由:开源策略如何影响全球AI竞争格局?关注地缘政治与商业利益的开发者、政策研究者,值得看看这个观点引发的讨论。原文