Banking77

general · First seen 2026-09-24 · Last seen 2026-11-13 · 3 mentions

Overview

Banking77 是一个面向银行客服场景的意图分类基准数据集,由 77 个细粒度的银行业务意图类别和一万多条用户问句构成,常被用来测试文本分类模型与小样本学习能力。由于类别多、语义相近(如“转账失败”与“转账未到账”),它一直是衡量模型细粒度分类与意图识别能力的常见参考基准,在对话系统、客服机器人和大模型评测中都有较高出场率。

Banking77 相关的近期进展

围绕 Banking77 这类意图分类任务,近期的工作主要体现在校准、低成本微调和多模态扩展三个方向。

  • CAPS:从日志 bandit 反馈学习校准决策头:该研究利用线上日志中的 bandit 反馈信号训练校准决策头,思路可迁移到 Banking77 这类多意图分类场景,用于解决置信度校准不足的问题——在真实客服分流中,模型“知道自己不知道”往往和分类准确率同样重要。
  • Cloudflare 推出开放权重决策 AI 模型 Clef-omni,新增支持音频 / 视频输入:开放权重决策模型的普及意味着意图识别不再局限于文本,音频输入直接对应客服语音场景。对 Banking77 类基准而言,这提示未来评测可能从纯文本扩展到语音意图识别。
  • 17美元、25分钟,微调出一个自己的 Jev 决策模型:基于 Qwen3.5 4B 的低成本微调教程显示,仅花 17 美元、约 25 分钟就能得到可用的分类决策模型。这类小模型微调正是 Banking77 基准的主要受益者——数据集规模适中,适合快速验证与教学演示。
  • 当前焦点与观察点

    Banking77 面临的主要争议在于基准本身是否还能代表真实客服任务。一方面,随着大语言模型在该数据集上准确率接近饱和,纯文本意图分类的区分度在下降;另一方面,77 个固定意图标签的前提假设——意图集合已知且封闭——与实际业务中意图动态变化、边界模糊的情况存在差距。

    值得关注的观察点有三个:一是少样本与小模型设定下的表现,因为低成本微调方案让 Banking77 重新成为验证小模型能力的测试场;二是校准与不确定性估计指标是否会被纳入评测,参考 CAPS 一类工作的发展;三是语音、多模态客服普及后,Banking77 及其后续变体是否会演进为跨模态意图识别基准。总体来看,这个老牌数据集的“榜单价值”在减弱,但作为快速验证分类与校准能力的工程基准,短期内仍会被广泛使用。

    Coverage

    3 on file