SemPlan 全文翻译：企业数据 NL 查询四种架构的基准评测

结论

这是 arXiv 论文《SemPlan：面向企业数据的 LLM 查询之结构化语义规划基准评测》（SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data）的全文中文翻译。作者是巴西欧鲁普雷图联邦大学（UFOP）的 Bruno Santos Teixeira，提交于 2026 年 8 月 12 日，采用 CC BY 4.0 许可，允许全文翻译与再发布。

原文的核心判断对企业极有警示价值：在受控的双语合成基准上，四种主流「自然语言查企业数据」架构的答案正确率全都很低（22.25%—25.67%），最好的架构也只答对约四分之一。这不是某一家模型的失败，而是架构层面的权衡问题：结构约束改变了失败模式与效率，但没有单调地提升正确性，也没有解决歧义与多轮状态一致性。

原文用同一模型、同一数据库快照、同一批冻结用例，对比了四种责任分配方式——A1 直接生成 SQL、A2 受限工具代理、A3 结构化语义请求+确定性规划执行、A4 带澄清与结构化状态的语义规划。结果是「没有全胜者」：A3 正确率与可重复性最高且成本远低于 A1/A2；A4 平均 API 成本最低、误拒率几乎归零，但正确率显著低于 A3、不安全/无效率最高；A1 正确率与误拒表现较弱，却有最好的策略正确率与最低的不安全/无效率；A2 相对 A1 只有微弱正确率提升、可重复性最弱、错误面最大。

对企业选型的直接启示：不要凭单一准确率数字给 NL2Data 方案排名，要按「答案正确性、策略合规、失败模式、成本、可重复性」多维评估；不要把「更多结构约束=更好」当默认假设；多轮对话与歧义澄清是当前所有架构的共同短板（澄清决策正确率最高仅 27.38%，多轮序列状态正确率最高仅 20%）。

以下为忠实全文翻译。

原文全文翻译

标题与作者

SemPlan：面向企业数据的 LLM 查询之结构化语义规划基准评测 （SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data）

作者：Bruno Santos Teixeira

单位：巴西欧鲁普雷图联邦大学（Universidade Federal de Ouro Preto，UFOP） ORCID：0009-0007-3860-7114

致谢（原文首页脚注）：生成式 AI 工具辅助了实验软件管线的开发与调试。作者对研究设计、验证、分析与科学论断负责。

摘要

面向企业数据的自然语言接口，必须把规约不完整的请求翻译成受治理、可执行的行为，同时控制无效查询、策略失败、成本与非确定性。SemPlan 基准用一个确定性的合成双语基准来评估这一架构设计空间，该基准包含 1,800 个英语与巴西葡萄牙语用例；其中 1,200 个用例构成冻结的科学评测子集。在相同的模型配置下比较四种架构：直接 SQL 生成（A1）、受限工具代理基线（A2）、先生成结构化语义请求再做确定性规划与执行（A3）、以及带澄清与状态的语义规划变体（A4）。

在 4,800 条主记录中，答案正确率在绝对值上都很低：A1 为 22.25%，A2 为 22.58%，A3 为 25.67%，A4 为 24.25%。A3 的观测正确率最高，并在预先设定的配对正确性分析中显著超过 A1、A2 与 A4；而 A1 保持了最高的策略正确率与最低的不安全或无效率。A4 的平均 API 成本最低、误拒率最低。在一个预选的 150 用例稳定性子集上，答案正确的可重复率介于 92.00% 到 98.67% 之间。

这些结果支持一种「权衡解读」而非「普适排名」：额外的结构约束改变了失败模式与效率，但并未单调提升正确性，也未解决歧义与多轮状态一致性问题。

1 引言

自然语言数据库访问长期以来一直承诺：让不会编写查询语言的用户也能使用结构化数据。然而，核心困难并不仅仅是生成语法有效的 SQL。企业分析类问题常常涉及业务指标、隐含维度、时间范围、授权边界、不受支持的操作，以及对话上下文。因此一个系统可能语法正确，却在语义上错误、与策略不一致，或在运营上无效。经典的自然语言数据库接口研究已把歧义、领域建模与可移植性识别为长期存在的问题（Androutsopoulos 等，1995；Affolter 等，2019）；现代基准如 Spider、SParC、CoSQL 与 BIRD 在跨领域、对话式与数据库落地的设定下重新提出了这些问题（Yu 等，2018；Yu 等，2019b；Yu 等，2019a；Li 等，2023）。

当前基于 LLM 的系统可以把不同分量的责任交给模型。在一个极端上，模型直接生成 SQL。其他设计则要求模型选择工具、生成带类型的语义表示，或与确定性的规范化和执行层交互。这些选择常被当作工程偏好来讨论，但它们同时也定义了不同的实证假设：错误在何处产生，以及哪些约束能提升可靠性。

SemPlan 在固定模型、基准用例、数据库快照与评测规则的前提下研究这一设计空间。中心问题是：在 LLM 中介的企业数据查询中，不同形式与程度的结构约束，如何在答案正确性、策略行为、失败模式、成本与可重复性之间权衡？本研究刻意比「生产就绪」的主张更窄。它使用一个独立生成的合成企业领域，不使用客户数据或专有数据。

本文做出四项贡献。第一，引入一个双语合成基准，用于对 LLM 中介的结构化企业数据查询做受控评测。第二，在共同的实验配置下比较四种架构模式，而不是比较不同的模型家族。第三，就答案正确性、策略行为、带类型的失败结果、成本、歧义、多轮状态一致性与可重复性报告配对证据。第四，提供一个围绕冻结提示词、清单文件、原始输出哈希、分数记录、生成的表格与图形，以及无需 API 密钥的验证路径构建的可复现性包。

2 相关工作

自然语言数据库接口早于当前的 LLM 系统，历史上依赖语法、解析、语义表示、领域约束与特定模式（schema）的转换（Androutsopoulos 等，1995；Affolter 等，2019）。现代的文本转 SQL 研究转向跨领域评测。Spider 建立了一个有挑战性的设定，其数据库与查询结构在训练数据和测试数据之间不同（Yu 等，2018）。SParC 把任务扩展到上下文交互，CoSQL 增加了澄清与不可回答请求等对话现象（Yu 等，2019b；Yu 等，2019a）。BIRD 进一步强调大型数据库内容、外部知识与效率（Li 等，2023）。

第二条研究路线通过中间结构或受约束解码来缩小语言与可执行 SQL 之间的差距。IRNet 在确定性 SQL 推断之前使用模式链接（schema linking）与 SemQL 中间表示（Guo 等，2019）。RAT-SQL 强调关系感知的模式编码与链接（Wang 等，2020）。执行引导解码用执行反馈过滤候选，PICARD 在生成过程中增量式地拒绝不可接受的令牌（Wang 等，2018；Scholak 等，2021）。这些方法支撑了一个更宽泛的原则——形式化约束能减少某些类别的无效输出；但它们并不意味着更多约束总能提升端到端的任务正确性。

使用工具的语言模型系统代表另一个架构家族。ReAct 交错进行推理与行动，Toolformer 研究模型如何决定何时以及如何调用外部 API（Yao 等，2023；Schick 等，2023）。在当前的 API 系统中，结构化输出与函数调用机制可以把模型响应或工具参数约束到模式上（OpenAI，2026b；OpenAI，2026a）。SemPlan 与这些工作互补：它不提出单一解码技术，而是评测四种端到端的架构，即 LLM 与确定性软件组件之间的责任分配。

基准设计也遵循更宽泛的可复现性原则——数据集应当传达动机、构成、生成方式、预期用途与局限（Gebru 等，2021）。因此 SemPlan 把合成数据生成、基准生成、人工审查、金标准执行、模型执行与派生统计产物分离开来。

3 研究问题与预先设定的假设

研究围绕五个研究问题被冻结。RQ1 问：A1—A4 在双语企业分析类问题上的最终答案正确性有何差异。RQ2 问：它们在无效结果、执行失败与策略相关结果上有何差异。RQ3 问：产生了怎样的成本与延迟权衡。RQ4 问：形式化的澄清是否改善了在实质歧义问题上的行为。RQ5 问：结构化状态是否改善了 PATCH/REPLACE 追问中的一致性。

在隐藏评测之前，方向性假设预期：语义规划方法在语义与答案正确性上优于直接 SQL；相对结构化程度更低的方案能减少无效或违反策略的执行；A3 的成本不高于工具代理方案；A4 的澄清与结构化状态能改善歧义与多轮一致性。下文分析保留了混合的与负面的发现，而不是在观察到结果之后重新定义这些假设。

4 SemPlan 基准

4.1 合成企业领域

基准使用合成的 Northstar Commerce（北极星商务）分析领域。其关系型数据覆盖客户、产品、订单、付款、费用、预算、供应商、合同，以及一个日历维度。金额值、日期、状态字段与派生业务指标由确定性种子生成，并有文档化的不变量（invariants）。参考执行环境使用受治理的 PostgreSQL 视图与只读执行策略。

4.2 用例生成、审查与数据划分

基准构建把文本用例与底层表格数据集分离。参数化的语义模板定义意图、指标、维度、过滤条件、时间上下文、分组、排序、限制、歧义条件与策略预期。表层形式为英语与巴西葡萄牙语生成，然后就规范标识符与语言质量做验证。金标准语义计划在参考数据库上确定性执行，产生归一化的金标准答案。在测试分区被冻结之前，用例按结构与词汇谱系去重。

发布规模的基准包含 1,800 个用例：900 个 en-US 与 900 个 pt-BR。其划分为：开发（300）、验证（300）、公开测试（500）、隐藏测试（300）、多轮（200）、对抗（200）。冻结的科学评测子集包含 1,200 个用例：公开测试、隐藏测试、多轮与对抗。开发与验证用例被排除在主科学比较之外。发布清单记录了来自单一人审者的 3,600 条已批准的用例/金标准审查记录。这种强烈的「作者在环」（author-in-the-loop）角色被当作一项效度局限来处理，而不是被隐藏。

表 1：冻结的 SemPlan 基准版本 1.0.0-rc.2 的构成

基准包含查找、分组聚合、排名、比较、方差、趋势、份额/比率、过滤、合同状态、歧义、超出范围、多轮与对抗用例。难度标签源自文档化的结构性因素，而非模型表现。

4.3 双语示例用例

一个典型的单轮用例要求在显式业务过滤条件下取一个受治理的指标。例如，一条英语表述可能是「2022 年 1 月北区消费者客户经线上渠道的净收入是多少？」（What was net revenue for consumer customers in the North region through the online channel in January 2022?）；其巴西葡萄牙语对应表述可以表达相同语义：「Qual foi a receita líquida dos clientes do segmento consumidor na região Norte pelo canal online em janeiro de 2022?」。规范化的语义请求识别出 net_revenue（净收入）、区域/渠道/细分过滤条件，以及时间窗口。这个示例说明了基准契约；主评测使用冻结的用例产物，而不是手稿中人工改写的例子。

5 被评测的方案

四种方案都使用同一个配置好的模型 gpt-5.6-luna，经由一个供应商中立的 OpenAI 适配器，推理强度设为低（reasoning effort low），输出上限 1,200 令牌。提示词按方案分别独立冻结。图 1 总结了模型职责与确定性职责的分配。

图 1：结构在 SemPlan 比较中的介入位置。（原文流程图：A1 为「用户查询→LLM→SQL→SQL 守卫→数据库」；A2 为「用户查询→LLM 代理→带类型工具→确定性执行器→数据库」；A3 为「用户查询→LLM→SemanticRequest→规范化+执行→数据库」；A4 为「查询+结构化状态→LLM→请求/澄清/修补→规范化+状态+执行→数据库」。）只有 A1 允许模型编写 SQL。A2 把模型行动约束到带类型的工具。A3 与 A4 发出带类型的语义请求，由确定性软件规范化并执行；A4 额外暴露结构化状态与澄清行为。

A1：直接 SQL。模型接收表述、区域设置（locale）、参考日期、一个紧凑的受治理视图模式，以及相关的指标定义。它返回严格 JSON，其中包含 SQL 或一个带类型的拒答。生成的 SQL 不被直接执行：它必须通过解析、AST 白名单、复杂度限制、只读授权、语句超时与行数限制。A1 从不接收金标准 SQL、计划或答案。

A2：工具代理。模型接收一组受限的分析工具，用于聚合、排名、期间比较、预算比较、合同状态、字段描述等操作。工具参数遵循严格模式与规范目录标识符。代理只能组合有限数量的工具调用，不能执行任意 SQL 或发明工具。确定性执行器实现底层分析操作。

A3：语义请求。模型不生成 SQL。相反，它发出一个严格的语义请求信封（envelope），包含操作、指标、维度、过滤条件、时间粒度、排序、限制、比较字段、澄清字段与置信度。确定性规范化验证标识符与类型，解析文档化的语义规则，并把请求编译成可执行的语义计划。受治理的软件随后产生参数化 SQL 或等价的确定性算子调用。因此 A3 中存在 SQL，但它由应用程序生成，而不是由 LLM 生成。

A4：澄清与结构化状态。A4 用先前的结构化状态、带类型的澄清结果，以及针对多轮请求的显式 PATCH/REPLACE 语义扩展了 A3 接口。只有被 PATCH 显式更改的字段才依兼容性规则更新；超出范围的轮次保留状态，除非重置。规范化之后执行仍然是确定性的。

6 实验设置

冻结的实验使用基准版本 1.0.0-rc.2，并对所有主比较使用相同的用例集、数据库快照、模型配置，以及各方案专属的冻结提示词。1,200 个科学用例中的每一个都在 A1—A4 下各执行一次，产生 4,800 条主记录。随后，一个确定性分层抽取的 150 用例子集在每个方案下再额外执行两次，产生 1,200 条稳定性记录。这些重复只用于分析方案内的可重复性，不膨胀主样本量。因此完整的科学运行包含 6,000 个计划请求身份。

主二元终点在用例对齐的记录上比较。二元结果使用 McNemar 检验与带 95% 置信区间的配对风险差，并对预先设定的主比较族应用 Holm-Bonferroni 校正。偏态的连续结果（如 API 成本）使用配对自助法（bootstrap）对比。供应商、传输、基础设施与模型质量失败在统计解释之前被区分开。当系统产生了足够证据来分类时，模型质量失败仍作为科学结果的一部分保留。

延迟是预先设定的指标，但被排除在主结论之外。运行后审计发现，被捕获的带类型失败记录了零延迟，而这些失败在各方案间分布不均。因此，所得的中位数作为干净的端到端延迟度量并不可比。令牌用量、供应商成本与失败计数仍可报告，因为它们被独立记录在供应商用量与预算/结果台账中。

7 结果

7.1 主正确性与策略结果

该运行完成了全部 6,000 个计划请求身份，缺失身份为零，重复购买为零。最终状态下没有供应商失败，也没有未捕获的基础设施失败。表 2 报告了每方案 1,200 个用例的主终点。

表 2：每方案 1,200 个科学用例上的主指标。（绝对正确率在成对显著性之前报告。）

绝对答案正确率在所有方案上都很低。A3 达到最高观测值 25.67%，其次是 A4 的 24.25%、A2 的 22.58%、A1 的 22.25%（图 2）。配对的答案正确分析估计 A3 相对 A1 高出 +3.42 个百分点（95% CI [1.85, 4.98]，Holm 校正后 p=0.000110），A3 相对 A2 高出 +3.08 个百分点（95% CI [1.68, 4.49]，Holm 校正后 p=0.000110）。A4 比 A3 低 1.42 个百分点（A4−A3 的 95% CI [−2.51, −0.32]，Holm 校正后 p=0.041250）。因此在冻结分析下，A3 的主答案正确性高于 A1、A2 与 A4 中的每一个，但绝对值仍然不高。

图 2：来自冻结主结果表的主答案正确率。该图显示绝对率；配对不确定性在表 3 中报告。

策略行为给出了不同的排序。A1 拥有最高的策略正确率（43.67%）与最低的不安全或无效率（31.00%）。A4 拥有最低的误拒率（0.17%）但最高的不安全或无效率（64.08%）。A3 的策略正确率为 37.33%，不安全或无效率为 60.58%。配对策略分析显示，A3 与 A4 在策略正确性上都低于 A1。因此 A3 的正确性优势并不能确立一个「普遍更好或更安全」的架构。

表 3：选定的配对二元对比。风险差为左减右。

7.2 探索性语言子组

按语言分层的正确率，四种方案在 en-US 上都一致高于 pt-BR（表 4）。A3 在 en-US 上记录 31.00%，在 pt-BR 上为 20.33%；A4 的对应率为 29.33% 与 19.17%。由于子组比较不是唯一的主终点，且模板族之间可能相关，这些结果是描述性/探索性的，而非「架构导致语言特定效应」的证据。尽管如此，它们把多语言鲁棒性识别为一个重要的后续问题。

表 4：按语言的探索性主答案正确率。每个语言子组每方案 n=600 个用例。

8 失败分析

带类型的模型质量失败是解读的核心，而不是被当作缺失数据丢弃。在全部 6,000 条科学记录中，记录的错误码为 EXECUTION_FAILED（1,762）、OUTPUT_SCHEMA_INVALID（1,051）、POLICY_VIOLATION（368）、CATALOG_UNKNOWN_ID（78）、CFG_INVALID（24）。仅在 4,800 条主记录中，对应计数为 1,402、845、287、65、16。

表 5：带类型的模型质量失败类别。这些是科学结果，而非缺失的供应商证据。

EXECUTION_FAILED 表示模型产生的或规范化的请求到达了受治理的执行环节，但未通过一条带类型的数据库/执行规则。OUTPUT_SCHEMA_INVALID 表示严格输出契约失败。POLICY_VIOLATION 记录守卫层拒绝；CATALOG_UNKNOWN_ID 记录未知的语义标识符；CFG_INVALID 记录被捕获的配置或契约无效。

方案级的终局结果显示，额外结构并没有简单地消除错误。A1 产生 372 个主 ERROR 结果，而 A2 为 747、A3 为 727、A4 为 769。同时，A1 产生 257 次误拒，而 A2—A4 分别为 22、19、2 次。这一模式支持一种「失败转移」（failure-shift）解读：直接 SQL 加上严格守卫在某个方向上是保守的，而带类型的语义/工具接口暴露了不同的契约与执行失败面。聚合产物没有为每个错误确立唯一的因果机制，因此讨论避免在没有用例级分析的情况下把个别错误码差异归因到具体模块。

表 6：按方案的主终局结果计数。

9 稳定性、歧义与多轮行为

稳定性子研究对每个方案预选的 150 个用例，使用主执行加上两次额外的独立执行。可重复性问的是：答案正确性在这三次执行中是否稳定；它不是完全确定性的主张。A3 拥有最高的观测可重复率（98.67%），A1 与 A4 都是 98.00%，A2 是 92.00%。

表 7：150 用例稳定性子集上的答案正确可重复率。

对话鲁棒性则明显更弱。在每方案 84 个歧义用例上，澄清决策正确率为：A1 是 0.00%，A2 是 26.19%，A3 是 27.38%，A4 是 8.33%。在 200 个多轮用例上，多轮序列状态正确率为 A1—A4 分别是 20.00%、17.00%、14.00%、14.50%。因此，启用澄清的 A4 设计并未验证「结构化澄清会优于替代方案」这一预先设定的预期，且在该配置下结构化状态并未改善序列状态正确性。

表 8：歧义与多轮终点。弱的绝对率被当作主要的科学局限来处理。

10 成本与运营结果

完整的 F7 科学运行记录了 4.028973 美元的 API 费用。每条主记录的平均成本为：A1 是 0.000918 美元，A2 是 0.000927 美元，A3 是 0.000512 美元，A4 是 0.000469 美元。A4 是观测到的最便宜方案，A3 在这个冻结的模型与价格表下也明显比 A1/A2 便宜。配对平均成本差为：A3 相对 A2 是 −0.000415 美元，A4 相对 A2 是 −0.000459 美元。这些值是供应商 API 观测，不是总拥有成本；它们排除了基础设施、工程时间与任何未来的价格变化。

图 3：来自冻结主表的观测成本-正确性权衡。A3 正确率最高，而 A4 平均 API 成本最低。

记录的供应商总用量为：8,120,408 个输入令牌、1,179,317 个缓存输入令牌、1,540,985 个输出令牌、639,950 个推理令牌。这些计数对可复现性与预算分析有用，但不应被推广到其他模型或未来定价。

11 讨论

主要结果不是「结构越多越好」的单调关系。A3 占据最强的观测正确性/可重复性位置：它有最高的答案正确性、最高的稳定性可重复率，以及远低于 A1/A2 的平均成本。然而 A3 并没有最强的策略行为，其不安全或无效率仍然很高。A4 增加了结构化状态与澄清，实现了最低的平均 API 成本并几乎消除了误拒，但它在答案正确性上显著低于 A3，且不安全或无效率最高。A1 在答案正确性与误拒上相对较弱，但它有最好的策略正确率与最低的不安全或无效率。A2 相对 A1 只带来微小的原始正确性提升，可重复性最弱，错误面很大。

一个合理的架构解读是：直接 SQL 给了模型一个更简单但更宽松的形式化目标，随后严格的 SQL 守卫拒绝不安全行为。A3 移除了模型编写的 SQL，要求模型解决一个更窄的语义解析问题；这可以在保留紧凑接口的同时减少某些实现自由度。A4 引入了额外的状态与澄清语义，这可能创造有用的治理能力，但也创造了更多机会，使一个本来有用的请求变得与严格契约不兼容。这些机制是供后续分析的假设，而不是由聚合率确立的因果结论。

双语子组结果也很重要。在冻结的主集合上，每种方案在 pt-BR 上都不如 en-US 准确，尽管语料在语言上是均衡的并通过了发布语言质量门禁。这一差距可能反映表层形式难度、词汇映射、模型行为，或这些因素之间交互作用的差异。它促使进行独立的多语言审查与更多模型家族的评测，而不是对冻结基准做事后重新调优。

最后，低绝对正确率本身就是一项结果。在基准组合了干净、对抗、多轮与策略敏感的分布下，即使是最好的架构，在主用例上也只正确约四分之一。因此 SemPlan 应被读作「在一个困难的受控基准下关于架构权衡比较的证据」，而不是「任何被测设计已达部署就绪」的认证。

12 效度威胁

内部效度。提示词设计、严格输出契约、实现细节、供应商非确定性、重试/恢复行为，以及 F7 执行热修复的谱系，都可能影响比较。执行热修复改变的是失败捕获方式而非基准语义：先前可能使运行器崩溃的数据库异常被转换为带类型的科学结果，从而保留了底层的模型/方案失败。共享的模型、数据库快照、用例与执行限制减少了实现不对称性，但没有消除它。

构念效度。答案正确性由与归一化规范结果的等价性定义；它不是用户有用性、解释质量或业务信任的完整度量。策略正确性与不安全或无效率覆盖了基准指定的策略结果，而非每一个企业治理关切。可重复性度量的是在一个子集上三次执行间二元正确性结果的稳定性，不等价于确定性生成。延迟被明确排除在主论断之外，因为其测量装置对被捕获的带类型失败赋值为零。

外部效度。本研究使用一个合成企业领域、一个模型/供应商配置、两种语言、PostgreSQL，以及一个受控的语义目录。向其他模式、数据分布、组织、模型家族、供应商、语言或生产流量的推广是未知的。未使用真实客户数据。

统计结论效度。用例对齐的配对设计提升了架构比较的灵敏度，主二元族使用了多重性校正。尽管如此，有限的子组规模、相关的模板族，以及多个探索性拆解，都约束了解读。语言、类别与难度分析不应在观察数据之后被提升为新的主假设。

研究者效度。单一人类研究者设计了本项目并担任主要的金标准审查者。自动化的金标准执行、确定性清单、审查队列、冻结哈希与公开可复现性产物缓解但不能移除作者在环偏差。独立复现与二次标注将强化未来版本。

13 局限

SemPlan 不做模型微调、不比较多个模型家族、不评测生产用户界面、也不认证部署安全性。合成领域被设计用于训练企业分析语义，但无法复现真实数据系统的完整组织上下文。本研究也不主张这四种架构穷尽了设计空间。特别是，混合系统可以把 A3 式语义请求与更强的策略执行或替代状态模型结合起来。这类变体应作为新的、预先设定的实验来评测，而不是被追加改造进已完成的 F7 运行。

原始供应商响应在本地做哈希记录。这些原始响应的公开发布应在最终的政策/许可审查之后进行；派生的分数记录、冻结表格、图形、基准数据、提示词、模式，以及确定性生成/复现路径可以独立发布。由于上述测量装置问题，本文也避免把延迟用作比较性性能论断。

14 可复现性与伦理

所有基准数据都是合成的、独立创建的。代码采用 Apache-2.0 许可；基准/数据集文档采用 CC BY 4.0 许可，除非某个文件另有说明。发布候选版包含模式、目录文件、冻结提示词、确定性生成器、基准清单、结果表、图形、审计文档与校验和。一个无需密钥的验证路径可以在没有额外付费供应商调用的情况下，重新生成确定性数据与派生的论文产物。冻结的科学结果清单绑定了原始响应、结果记录、分数记录、图形、表格与成本台账的哈希。

生成式 AI 在软件开发中的使用已在首页披露。没有任何 AI 系统是作者。科学设计、验证、解释、论断与发表决定仍是人类作者的责任。

15 结论

SemPlan 基准比较了在回答企业数据问题时，于 LLM 与确定性软件之间划分责任的四种方式。在冻结的双语合成基准下，A3 实现了最高的观测主答案正确性与可重复性，A4 拥有最低的平均 API 成本与误拒率，A1 保持了最强的策略正确行为与最低的不安全或无效率。配对分析支持 A3 存在真实但幅度不大的正确性优势，而歧义、多轮与策略结果显示，额外的结构并不产生一致更好的行为。这些发现主张沿多个维度评估架构权衡，而不是用单一准确率数字给系统排名。未来工作应以更多模型家族、独立审查者、其他数据领域与语言，以及针对所观察到的歧义、状态与契约失败模式的预设变体来复现该基准。

产物可用性

本预印本在 Zenodo 存档，DOI 为 10.5281/zenodo.21904872。科学结果在清单 SHA-256 5f06bc8b...6aefb816 下冻结；完整的不可变标识符列于附录 A。公开的可复现性包正在单独存缴，数据集/软件标识符将在未来的公开版本中链接。

附录 A 冻结实验标识符

表 9：所报告实验的关键不可变标识符。

附录 B 冻结提示词哈希

（参考文献：原文列出 18 条参考文献，包括 Androutsopoulos 等 1995、Affolter 等 2019、Yu 等 2018/2019a/2019b、Li 等 2023、Guo 等 2019、Wang 等 2018/2020、Scholak 等 2021、Yao 等 2023、Schick 等 2023、Gebru 等 2021、OpenAI 2026a/2026b 等；此处按学术惯例不逐条翻译，读者可查原文。）

中文解读与企业落地方法

这项研究给企业选型的四个硬结论

第一，「NL 查数据」的绝对正确率远低于市场宣传。在一个包含对抗与策略敏感用例的受控基准上，最好的架构也只答对约四分之一。企业要清醒：厂商演示往往只展示「干净、简单、单轮」用例，而真实企业问句充满隐含维度、时间范围、授权边界与歧义。采购评测必须包含对抗用例与超出范围用例，否则测不出真实水平。

第二，四种架构没有全胜者，必须按业务风险选边。如果业务最怕「给出错误答案」（如对外报表），选 A3（正确率与可重复性最高）；如果最怕「策略违规」（如权限敏感的数据查询），选 A1（策略正确率 43.67%、不安全/无效率 31.00% 均为最佳）；如果最怕「用户被频繁拒答」和成本，选 A4（误拒率 0.17%、平均成本最低）。「一刀切选最先进架构」是错的。

第三，多轮与歧义是所有架构的共同短板，且当前不成熟。澄清决策正确率最高只有 27.38%（A3），多轮序列状态正确率最高只有 20%（A1），A4 专门做了结构化澄清与状态反而只有 8.33% 澄清正确率与 14.50% 序列状态正确率。企业若把「对话式 BI」作为核心卖点，要按「尚不成熟」预期管理用户，并对多轮场景强制人工确认。

第四，非英语语言显著更差。四种方案在巴西葡萄牙语上都比英语低 8—12 个百分点（A2 差距最大：28.50% vs 16.67%）。中文企业尤其要注意：英语基准成绩不能代表中文表现，必须在自己的语言上做同等评测。

落地步骤

1. 建立自有评测集：仿照 SemPlan 的用例构成，为企业自己的数据域构建评测集，必须包含查找、聚合、排名、比较、趋势、歧义、超出范围、多轮、对抗九类；难度按结构因素标注而非按模型表现标注。
2. 冻结评测条件：固定模型版本、数据库快照、提示词（并记录哈希）、评测规则，做「用例对齐的配对比较」，而不是拿不同时期的结果互比。
3. 多维记分卡取代单一准确率：至少记录答案正确率、策略正确率、误拒率、不安全/无效率、平均 API 成本、可重复率六项，并按业务风险给这六项加权排序。
4. 按风险画像选架构：对外披露类场景优先 A1 式「模型出 SQL + 严格守卫（AST 白名单、只读、超时、行数限制）」；内部分析类场景优先 A3 式「模型出语义请求 + 确定性编译执行」；成本敏感的长尾场景可考虑 A4，但必须对多轮加人工确认。
5. 失败要带类型记录：把 EXECUTION_FAILED、OUTPUT_SCHEMA_INVALID、POLICY_VIOLATION、CATALOG_UNKNOWN_ID、CFG_INVALID 这类错误码落到日志，才能做失败转移分析而不是笼统「模型不行」。
6. 成本台账按记录粒度记：记录每次调用的输入/缓存/输出/推理令牌与美元成本，用于预算与架构对比（注意：原文的成本是 API 观测，不含基础设施与工程时间）。

人工复核点与失败条件

• 失败条件：只测干净单轮用例就下结论（原文特意纳入对抗与多轮，正确率因此显著更低）。
• 失败条件：用单一准确率数字排名方案（原文明确主张多维评估、反对普适排名）。
• 失败条件：把英语评测结果直接外推到中文（原文显示语言差距达 8—12 个百分点）。
• 失败条件：把「延迟」当作干净指标（原文因测量装置给失败赋零延迟而排除该指标——企业自评时同样要检查测量口径）。
• 人工复核点：多轮与歧义场景的答案在上线前必须人工确认；策略敏感查询（涉及权限边界）的结果需二次校验；评测集的金标准答案应由独立于构建者的第二人复核（原文自陈单一作者审查是效度局限）。

试点与验收

• 试点场景：选一个企业内部数据分析问答场景（如经营报表自助查询），按 SemPlan 方法对 2—3 种候选架构做受控评测。
• 试点周期：8 周。第 1—2 周：构建 300—500 条企业自有评测用例（含九类、双语或中文单语）；第 3—4 周：冻结条件、实现 2—3 种架构；第 5—6 周：主评测+稳定性重复运行；第 7—8 周：失败分析与多维记分卡复盘。
• 基线：以 A1（直接 SQL+守卫）作为基线架构，记录其六项指标。
• 验收指标：
• 质量：目标架构在自有评测集上的答案正确率显著优于基线（用配对检验而非肉眼比较）；策略正确率不低于基线。
• 稳定：可重复率不低于 95%（参照原文 A1/A3/A4 的 98% 与 A2 的 92%）。
• 成本：每条查询的平均 API 成本有台账，且在预算内（原文 A3/A4 约为 A1/A2 的一半）。
• 安全：不安全/无效率有明确上限，策略违规类失败 100% 被守卫层拦截并记录。
• 扩大条件：多维记分卡全项达标，且评测集、冻结流程、失败分类模板化，可复用到其他数据域。
• 停止条件：任何架构在自有评测集上的答案正确率低于业务可接受下限，或多轮/歧义场景错误率无法通过人工确认流程消化——则暂缓自动化，回退到「人工写 SQL + AI 辅助」模式。

出处

• 机构：巴西欧鲁普雷图联邦大学（Universidade Federal de Ouro Preto，UFOP）
• 作者：Bruno Santos Teixeira（ORCID 0009-0007-3860-7114）
• 日期：2026 年 8 月 12 日提交（arXiv v1；备注已投 TMLR）
• 原文标题：SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data
• URL：https://arxiv.org/abs/2608.13612
• 许可：论文采用 CC BY 4.0；代码 Apache-2.0；基准/数据集文档 CC BY 4.0。允许全文翻译与再发布，须署名。
• 存档：Zenodo DOI 10.5281/zenodo.21904872

PRIMARY_SOURCE: https://arxiv.org/abs/2608.13612