SolidityBench 是一个面向仓库级 Solidity 智能合约代码生成的基准测试，配套提出了一种语义度量方法，用于评估大语言模型在真实智能合约开发场景下的表现。它由 arXiv 上的研究论文（编号 2606.19988）提出，主要解决传统代码生成评测只看函数级、片段级代码，而难以衡量跨文件依赖和合约语义正确性的问题。由于智能合约代码一旦部署就难以修改，其评测对安全性和语义准确性要求更高，SolidityBench 因此成为区块链与 AI 交叉领域的一个值得关注的新工具。
SolidityBench 的提出背景与度量设计
根据 arXiv 论文 SolidityBench：面向存储库级Solidity代码生成的新型基准与语义度量，该基准将评测对象从孤立的代码片段扩展到整个代码仓库，要求模型在理解项目整体结构和跨合约依赖的前提下生成可用的 Solidity 代码。其配套的语义度量不再简单比对文本或运行单测，而是从语义层面对生成合约与预期行为的契合度进行评分，这被认为更贴近智能合约开发中对逻辑正确性的实际需求。
相关进展：检索增强偏好优化的引入
围绕 SolidityBench 已出现了后续改进工作。arXiv 论文 RAPO-Sol：检索增强偏好优化框架提升仓库级 Solidity 代码生成（v2 见 这里）提出了 RAPO-Sol 框架，通过检索增强与偏好优化相结合的方式，让模型在生成仓库级 Solidity 代码时参考现有代码库中的上下文信息，并依据人类偏好信号进行优化，从而在同类基准上取得更好表现。这表明以 SolidityBench 为代表的仓库级合约生成评测，正在带动一类新的训练与推理方法。
当前焦点与观察点
目前该方向的关注点主要有三个：一是语义度量的可靠性，即如何客观衡量生成合约的行为正确性与安全性，避免评测被表面匹配误导；二是仓库级生成的难度，模型需要处理跨文件导入、继承和部署上下文，这比单函数生成复杂得多；三是实用性验证，学术界提出的基准和优化方法能否迁移到真实智能合约开发与审计流程中。总体来看，SolidityBench 填补了 Solidity 代码生成评测的空白，相关论文目前仍处于 arXiv 预印本阶段，尚未看到广泛的第三方复现与行业采用，其实际影响力有待后续研究和开发者社区的检验。