Sakana AI releases JFinBench, a Japanese financial benchmark of 321 questions
The finding that knowledge of Japan-specific laws and accounting standards, not math ability, drives the gap is the key takeaway for anyone localizing AI into Japanese regulated industries. Teams deploying LLMs for tax, accounting, or compliance in Japan can use the 321-question dataset to test candidates before purchase. The human-in-the-loop pipeline also offers a reusable recipe for refreshing domain benchmarks as exam content changes annually.
Sakana AI has released JFinBench, a Japanese-language benchmark for evaluating LLMs on financial expertise, built from the 2026 editions of six Japanese financial qualification exams, including the CPA exam, tax accountant exam, and FP Skill Test Grade 1. The benchmark contains 321 questions covering not only multiple-choice formats but also tax calculations, essay writing, and diagram comprehension.
Because Japan's tax rules and accounting standards are revised frequently, the team built an "agentic pipeline" in which coding agents convert exam PDFs and humans verify all questions. Verification took only about 12 hours, so the benchmark can be refreshed cheaply each time new exams are held.
Testing 12 recent LLMs revealed that open-weight models, which are closing the gap with proprietary models on mainstream benchmarks, still lag well behind on JFinBench, exposing differences invisible on existing benchmarks. The main failure cause was not computation but lack of knowledge about Japan's institutional systems. When models could use a terminal and web search to look up laws and regulations, scores improved but a gap remained. Sakana AI plans to use these findings to advance R&D toward deploying AI in Japan's financial sector, and has published the paper, dataset, and code.
最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開
ブログ:https://t.co/gwIEfb3uWl
Sakana AIは、日本の金融分野に強いAIの開発に向けて、LLMの能力を評価するベンチマーク「JFinBench」を構築しました。公認会計士試験、税理士試験、FP技能検定1級など、日本の6つの金融資格 試験の2026年版から作成した全321問で、選択式だけでなく、税額の計算や論述、図面を読み取る問題も含みます。
税制や会計基準は頻繁に改正されるため、金融のベンチマークは最新の問題で更新し続けることが重要です。JFinBenchの構築では、試験PDFの変換をコーディングエージェントが担い、人間が全問を検証する「human-in-the-loop agentic pipeline」を提案しました。目視による検証は約12時間で済み、新しい試験が実施されるたびに少ない労力でベンチマークを更新できます。
最新の12のLLMを評価したところ、主要なベンチマークではプロプライエタリモデルに肩を並べつつあるオープンウェイトモデルも、JFinBenchでは大きな差があり、既存のベンチマークでは見えない差が浮き彫りになりました。失敗の主な原因は計算ではなく、日本の制度に関する知識の不足でした。ターミナルとWebを使える設定では、モデルが法令を調べて知識を補うことでスコアが上がりましたが、差は残りました。
今回の結果は、日本固有の法令や会計基準の知識をモデルにどう獲得させるか、外部の知識を検索・活用するエージェントをどう設計するかが重要であることを示しています。JFinBenchで得た知見を活かしながら、日本の金融分野へのAI実装に向けた研究開発を進めていきます。
論文:https://t.co/nPlfXAUA4m データセット:https://t.co/g0Gfj2Uigk GitHub:https://t.co/lz5herOwaC 🐟
This report is categorized under AITOP's "Papers" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Sakana AI, JFinBench, LLM, finance.
Source attribution: curated from Sakana AI (@SakanaAILabs).