ScaleDown 推出 Constrained Decoding Models 并接入 LangChain 生态
ScaleDown 发了三个不逐 token 生成的决策模型，分类、抽取、摘要各管一个，速度和价格都比通用 LLM API 好一大截，做 agent 的话可以试试接进 LangChain。
#Constrained Decoding Models
共 2 条 · 7 天 2 条 · 30 天 2 条
信息流里打上「Constrained Decoding Models」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月13日
ScaleDown 发布 Constrained Decoding Models：1M token 多模态输入，比前沿 LLM 快 200 倍
ScaleDown 做了三个不逐字生成的专用模型，分类、抽取、摘要直接出答案，比前沿 LLM 便宜 467 倍，适合高吞吐生产场景。
