Jailbreak:利用LLM生成读取器绕过数据库驱动实现27倍加速

Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass

精选理由

这篇论文提出了 Jailbreak,用 LLM 直接读数据库存储文件,不用 JDBC,TPC-H 测试下最高快 27 倍。搞大数据分析的人可以看看。

AI 摘要

Jailbreak 是一种新方法,通过直接读取 PostgreSQL 和 MySQL 存储文件实现数据库绕过,避免 JDBC/ODBC 驱动的性能瓶颈。它利用 LLM 辅助代码合成,从数据库文件格式的源代码和文档中再生出表读取组件。在 TPC-H 基准测试中,Jailbreak 生成的读取器将数据输出为 Apache Arrow 格式,可直接被 DuckDB、Apache Spark、cuDF 等引擎消费,端到端分析吞吐量提升最高达 27 倍。论文验证了该方法在 PostgreSQL 和 MySQL 之外对其他文件格式已知的数据库系统具有通用性。

AI 翻译 · 中文

Jailbreak 是一种新方法,通过直接读取 PostgreSQL 和 MySQL 存储文件实现数据库绕过,避免 JDBC/ODBC 驱动的性能瓶颈。它利用 LLM 辅助代码合成,从数据库文件格式的源代码和文档中再生出表读取组件。在 TPC-H 基准测试中,Jailbreak 生成的读取器将数据输出为 Apache Arrow 格式,可直接被 DuckDB、Apache Spark、cuDF 等引擎消费,端到端分析吞吐量提升最高达 27 倍。论文验证了该方法在 PostgreSQL 和 MySQL 之外对其他文件格式已知的数据库系统具有通用性。

arXiv cs.AIAnalytical workloads operating on data stored in external database systems face a fundamental bottleneck: data access is guarded entirely by the database driver, like JDBC or ODBC, forcing all reads through query executi