LangChain 接入 ScaleDown 约束决策模型,主打低成本快速决策
LangChain 现在能直接用 ScaleDown 的 CDM 了,专干摘要、抽取、分类这种高频小活,又便宜又快,还能用 LangSmith 看调用轨迹。
LangChain 现在能直接用 ScaleDown 的 CDM 了,专干摘要、抽取、分类这种高频小活,又便宜又快,还能用 LangSmith 看调用轨迹。
ScaleDown 发了三个不逐 token 生成的决策模型,分类、抽取、摘要各管一个,速度和价格都比通用 LLM API 好一大截,做 agent 的话可以试试接进 LangChain。
ScaleDown 做了三个不逐字生成的专用模型,分类、抽取、摘要直接出答案,比前沿 LLM 便宜 467 倍,适合高吞吐生产场景。
ScaleDown 出了三个专门做分类、抽取、摘要的小模型,1M token 上下文,输出免费,$0.05 每百万 token,agent 里的杂活不用再烧大模型的钱了。