行业

开源模型私有化部署是不是门好生意?观点交锋:模型不值钱,数据修正才值钱

精选理由

caoz 说开源模型私有化部署会火,yangyi 唱反调:模型不值钱,数据修正才值钱,两边观点放一起看挺有启发

caoz 认为开源模型私有化部署将成为新热点,理由有 3 点:数据安全合规、开源模型能力已过可用阈值、企业 token 开销可控。他同时指出 3 个风险:版本迭代需持续投入、使用频率低时综合 token 成本会显著高于云厂商、私有化部署稳定性难保障。yangyi 回应称本地化开源模型本身不值钱,值钱的是用数据对模型做修正的那部分,而能解决未来时代困难的模型反而要支付极高费用。他还归纳了私有化部署的 4 个商业价值:电能转 token 套利、获得数据可售卖、廉价便民、带动云服务转型。

原文 · Yangyi

模型的发展肯定是会大部分本地化的 本地化后会解决很多很多当下看起来存在的问题 但如果我们快进到那个时代 就会发现 本地化开源模型 一点儿也不值钱 因为它缺少数据让它变好 值钱的不是模型本身 值钱的是数据对模型处理的修正 修正的部分蕴含着人类和AI对世界反馈的沉淀 这部分是真实存在溢价的稀缺物 我们现在就是远古时代,远古时代钻木取火 当快进到工业时代,一个打火机2块钱的时候 不会有人再在意生火问题了 那时候稀缺的问题,会成为其他的 而能解决这类问题的模型 一定是要支付极高的费用的 所以人们谈论模型会越来越便宜 我却不这么看的原因 是因为我们的参照系不一样 我看待的是有能力协助人类解决未来时代困难的模型价格 而不是未来时代的智能模型来解决当下生火问题 至于曹大说的开源模型部署机会 我认为是客观存在的且一定有商业化价值的 它的价值在于: 1、将电能转化成产能价值更高的Token,可以套利 2、通过该转化,获得更多数据,可以售卖 3、廉价便民 4、带动过往的云服务转型 从这4个角度看,这是一门靠谱的生意 只是能做这个生意的人 本身需要一定的资源储备 caoz @caozlog 我有个感觉,开源模型的私有化部署将成为新的热点趋势。 1,隐私,数据安全的风险比较凸显,特别是anthropic这段时间的主动曝光。很多合规问题也可以规避。 2,开源模型目前能力超过阈值,也就是可用性已经足够好,我最近测试了智谱编程,不算完美,但可用,而且未来一年会更可期待。 3,成本可控。特别是一些企业的token开销越发失控。 当然,这里还是有不少问题的。 第一是版本迭代更新需要持续投入; 第二是如果企业使用频率不够,优化能力不足,综合token成本会显著高于云厂商。 第三是私有化部署的稳定性和可靠性不一定能保障。 另外最近还有一个词,所谓主权AI是个方向,这世界基本上除了中美,基本上都没有独立研发大模型的能力,但从安全和信仰,文化考虑,很多都需要做自己的AI大模型(包括自己的安全围栏设计),其实就是国家级的开源私有化,拿开源大模型训练本地语料,并增加本地合规的安全限制策略。 而开源大模型,目前中国明显处于领先位置。 这是个机会,但这不是官方的机会,是民间,第三方的机会。 🔗 View Quoted Tweet 💬 2 🔄 1 ❤️ 0 👀 379 📊 2 ⚡