LG U+ 明年进军 AI Token 业务,用三项技术帮企业降本
韩国电信运营商 LG U+ 明年进军 AI Token 业务,帮助企业降低 AI 转型成本
韩国运营商开始卖 Token 优化服务了,思路挺有意思:小模型先答大模型验证,速度翻倍,还把 FuriosaAI 的 NPU 和英伟达 GPU 混着用省成本。做企业 AI 部署的可以看看这套降本打法。
据韩媒 Etnews 11 月 15 日报道,韩国电信运营商 LG U+ 将于明年全面进军 B2B AI Token 市场,目标是降低企业 AI 转型(AX)的 Token 成本。其技术栈包括三项:设计 Agent 任务执行路径的 Harness Engineering、按问题类型分配模型的智能路由,以及用异构半导体优化推理的芯片组合。具体效果上,公司自研端侧 AI 模型体积缩小三分之一后性能仍达通用云端模型的 95% 以上;小模型快速生成答案、大模型再验证的协作方式使 Token 生成速度提升两倍以上。
基础设施层面,LG U+ 将英伟达、AMD GPU 与韩国本土 FuriosaAI 的 NPU 组合使用,把问题分析(Prefill)和答案生成(Decode)两类任务分开处理:需要大规模计算的任务和对内存带宽要求高的任务各走各的硬件,从而压低基础设施成本。同时该公司还会减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。商用路径上,LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式。随着它的加入,韩国三大电信运营商将全部进入 Token 经济领域。
韩国电信运营商 LG U+ 明年进军 AI Token 业务,帮助企业降低 AI 转型成本
IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。 据介绍,这项服务拥有用于设计 Agent 任务执行路径的“Harness Engineering”、根据问题类型分配模型的“智能路由”,以及为优化推理过程而采用异构半导体的“芯片组合”三项技术。 IT之家从原报道获悉,LG U+ 将减少 AI Agent 执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。同时结合模型轻量化和推理技术,该公司的自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。通过让小模型快速生成答案、再由大模型进行验证的技术,Token 生成速度提升两倍以上。 基础设施方面,LG U+ 采用芯片组合策略,将英伟达、AMD GPU 与韩国本土企业 FuriosaAI 的神经网络处理器(NPU)结合使用,分别处理问题分析(Prefill)和答案生成(Decode)任务。通过将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,降低基础设施成本。 LG U+ 将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军 B2B AI Token 市场。随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。
This report is categorized under AITOP's "Products" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include LG U+, FuriosaAI, token optimization, agents.
Source attribution: curated from IT之家.