复杂多模态文档处理流水线基准评测

复杂多模态文档处理流水线基准评测：面向企业 AI 的统一评估框架

Saurabh K. Singh（Oracle，通讯作者，同等贡献）、Sachin Raj（独立研究者，同等贡献）

2026 年 4 月

摘要

今天大多数企业文档 AI 都是一条流水线：解析（parse）、索引（index）、检索（retrieve）、生成（generate）。其中每个阶段都已被单独研究得足够透彻——真正困难的，是把系统作为一个整体来评估。

我们构建了 EnterpriseDocBench 来尝试解决这个问题：在同一份语料上评估解析保真度（parsing fidelity）、索引效率（indexing efficiency）、检索相关性（retrieval relevance）与生成有据性（generation groundedness）。语料由六个企业领域（当前试点覆盖其中五个）中采用宽松许可的公开文档构建而成。我们让三条流水线跑完了全部评测——BM25、密集向量嵌入（dense embedding）以及混合（hybrid）方案——全部使用同一个 GPT-5 生成器。

核心数字如下：混合检索以微弱优势胜过 BM25（nDCG@5 为 0.92 对 0.91），两者都优于密集向量嵌入（0.83）。幻觉率（hallucination rate）并不随文档长度单调增长——短文档和超长文档的幻觉都多于中等长度文档（28.1% 和 23.8% 对 9.2%）。跨阶段相关性非常弱：解析→检索 r=0.14，解析→生成 r=0.17，检索→生成 r=0.02。如果质量真的像我们大多数人假设的那样逐级级联，这些数字应该高得多。但它们并不高。我们在 §6.1 中讨论了可能的原因，但设计上的注意事项是真实存在的（解析固定、生成器共享、使用自动化代理指标），我们不想夸大其词。

有一个结果真正让我们吃惊：对已陈述论断的事实准确率为 85.5%，但答案完整度（answer completeness）平均只有 0.40。系统在作答时是对的——只是它漏掉了内容。对于真实部署而言，这个差距比表面的准确率数字更重要。

我们还描述了三种参考架构（ColPali、ColQwen2、基于复杂度的智能体路由），它们尚未完成端到端集成。框架、指标、基线与采集脚本将在论文被接收后开源发布。[^1]

[^1]: 框架代码、采集脚本与试点数据将在论文被接收后发布于一个持久的公共仓库。

1 引言

企业文档处理变化很快。五年前，大部分工作还是基于规则的抽取；今天它已经是一条由大型神经系统组成的流水线——一个负责解析，一个负责嵌入与索引，一个负责检索，一个负责生成。每个组件都进步巨大，且每个组件都有不错的基准。仍然困难的，是评估整条流水线。

现有基准大多只选取一个阶段，并假设其余阶段都能正常工作。解析类基准如 OmniDocBench [19] 假设下游消费者是完美的。检索类基准（随 ColPali 一起发布的 ViDoRe 集 [7]）假设文档文本已被干净地抽取出来。幻觉类基准（HalluLens [3]）孤立地评估生成环节。这些都没有错——单个组件的进步正是这样被度量的——但它们无法说明错误如何在流水线中传播，也无法说明在给定工作负载下究竟是哪个阶段限制了端到端质量。

这一缺口在企业场景中最为关键，因为企业文档很「脏」：表格、图表、多栏排版、页边歪斜的扫描 PDF。小的解析错误并不总是立刻显现。有时它们会破坏检索；有时不会，而是以某种你在审阅者发现之前根本察觉不到的方式，出现在生成的答案里。

两项早期发现让这一点更加清晰。第一，在我们 1,169 篇文档的测试集上，跨阶段相关性很弱：解析→检索 r=0.14，解析→生成 r=0.17，检索→生成 r=0.02。我们将在 §6.1 回到解读问题——存在真实的设计局限：解析在各流水线间保持固定，生成器也是共享的，因此这些结果更多是提示性的而非决定性的。但数字本身就足够醒目。第二，幻觉并不随上下文长度单调增长。中等长度上下文的幻觉最少（9.2%）；短上下文（28.1%）和超长上下文（23.8%）都明显更差。这四个分组中有两个样本较小（n=35 和 n=21），因此我们把这种 U 形视为方向性证据，而非已确认的结论。

本文贡献有四个方面：

1. 一个统一的四轴评估框架，带有形式化的指标定义，并已对照公认的公开数据集进行了验证。

2. 一个从多企业领域的宽松许可公开来源精选构建的基准，外加一条半自动 QA 标注流水线（目标标注者间一致性 κ≥0.85）。

3. 对流水线交互的实证分析——解析↔检索相关性、按长度分组的幻觉、三种已实现配置下的成本–质量权衡。另有三种参考架构已给出规格说明但尚未端到端集成。

4. 基础设施：指标、基线与采集脚本，作为一个可复现的软件包发布。

我们在全篇都努力如实区分哪些数据是提示性的、哪些是扎实的。「企业文档」指具有复杂版式（表格、图表、多栏排版）的专业文档，覆盖六个目标领域：金融、法律、医疗、IT/技术、制造与学术。目前覆盖其中五个；制造领域只有 n=4 篇文档，被排除在按领域分层的分析之外。范围之外：纯文本的简单网页、对话文本、手写文档。

2 相关工作

文献已从若干方向切入这一问题，我们快速过一遍。

#### 文档解析基准

OmniDocBench [19] 是目前最全面的解析评测——1,355 页 PDF、9 种文档类型，涵盖文本抽取、表格结构（TEDS）、公式识别与版面分析的指标。READoc [20] 把解析重新表述为在 3,576 篇文档上的端到端 PDF→Markdown 任务，但止步于解析。PubLayNet [28] 是标准的版面检测语料（36 万张图像）。TableBank [14] 处理表格检测与识别。这些工作定义了什么是「好的解析」，但没有度量解析质量如何向下游传导。

#### 检索基准

ColPali [7] 提出了视觉-语言检索与 ViDoRe 基准。M3DocRAG [4] 将其扩展到多模态、多页推理。MS MARCO [2] 与 Natural Questions [12] 是大规模文本检索的锚点基准。它们全都假设文本是干净的。

#### 幻觉与有据性

HalluLens [3] 给出了一个有用的分类法——外在幻觉、内在幻觉与凭空捏造。Vectara 排行榜 [9] 追踪大语言模型的幻觉率。RARR [8] 做自动化的归因验证。这些工作都没有明确研究「检索上下文的质量」如何塑造幻觉。

#### 端到端 RAG 评估

RAGAS [6] 与 ARES [22] 是最接近的先前工作。RAGAS 仍然孤立地评估生成环节（忠实度、答案相关性、上下文精确率）；ARES 关注输出质量而非完整流水线。EnterpriseDocBench 对两者做了扩展：把解析保真度与索引效率提升为一等评估轴，直接度量阶段间相关性，并瞄准企业级复杂度而非通用文本问答。相邻工作还有：DocVQA [17]、BEIR [23]、LongBench [1]、Document Haystack [13]。Liu 等人最近的综述 [15] 回顾了 322 篇论文，并明确把端到端评估的缺失标记为一个空白。

#### 级联分析

最接近的先前工作是 OHR-Bench [25]（ICCV 2025），它研究 OCR 错误如何在检索增强生成（RAG）中级联传播。即便是最好的 OCR 也会造成整体约 14% 的 F1 分数下降，其中检索与生成环节损失更大，且语义噪声比格式噪声危害更大。OHR-Bench 把级联建模为线性链路（解析→检索→生成），并使用合成噪声注入。SF-RAG [16] 则主张存在一条「不」经由检索中介的解析→生成通路，理由是保留文档结构能改善上下文组装。AgenticOCR [18] 从解析侧提出了类似的论点。我们的发现与多通路观点最为一致，但多了一个转折：在我们的设置中，所有三条通路都是弱的，而非强的。

#### 定位

EnterpriseDocBench 借鉴了上述所有方向——解析（OmniDocBench [19]、READoc [20]）、级联分析（OHR-Bench [25]）、结构感知检索（SF-RAG [16]、ColPali [7]）、幻觉（HalluLens [3]）以及 RAG 评估（RAGAS [6]、ARES [22]）——并尝试把系统当作一个整体对象来审视。我们并不声称确立了强的阶段间相关性（所有 r<0.17），不声称在此规模上证明了特定模态的差距，也不声称覆盖了每一项文档理解任务。

3 评估框架

四个评估轴：解析保真度、索引效率、检索相关性、生成有据性。这些维度在概念上彼此独立，但框架的设计使它们可以被联合分析。以下每个指标都有形式化定义，并且在用于本文之前都对照公认基准做过验证。

3.1 解析保真度

四个子指标，外加一个加权汇总分。

#### 文本完整性分数（Text Integrity Score，TIS）

字符级准确率，对照真值计算，公式为 1−(edit_distance(extracted, reference) / max(|extracted|, |reference|))。在 PubLayNet 上与官方 TEDS 的相关性 r=0.89。

#### 表格抽取准确率（Table Extraction Accuracy，TEA）

对抽取出的表格 DOM 计算树编辑距离，同时捕捉结构与单元格内容。在 TableBank 上的平均 TEA：原生表格 0.91，扫描表格 0.68。扫描表格的差距是真实存在的，并且会在后文金融领域的结果中再次出现。

#### 图表标题质量（Figure Caption Quality，FCQ）

抽取出的标题与真值之间的 BERTScore（F1）。我们选择 BERTScore 而非 BLEU-4，因为保留原意的改写不应被惩罚 [26]。

#### 版面忠实度（Layout Faithfulness，LF）

对章节序列做归一化编辑距离（即阅读顺序保持度）。对照 DocBank 验证，r=0.82。

#### 汇总

P_fidelity = 0.40·TIS + 0.30·TEA + 0.15·FCQ + 0.15·LF。权重在 10% 训练划分上校准得出：TIS 与文本类查询检索的相关性最强（r=0.71），TEA 与表格类查询检索相关性次之（r=0.69），FCQ 与 LF 较弱（r=0.43–0.52）。这些组件级相关性是在特定查询模态内起作用的，不应与 §6.1 中的整体阶段间相关性混为一谈——后者使用复合的 P_fidelity 分数，并对所有查询类型取平均。

我们通过在 10 个自助法（bootstrap）样本上做留一交叉验证（每个权重扰动 ±0.10），检查了权重选择是否起了过大作用。流水线排名保持稳定（Kendall's τ>0.90）。按领域自适应调整权重是一个显而易见的扩展，已列入未来发布计划。

3.2 索引效率

四个数字，全部与生产环境相关：吞吐量（页/秒）、索引延迟（构建耗时秒数）、存储（每页字节数），以及一个成本模型（规模化下每页每年的美元成本）。成本估算使用 2026 年 4 月的定价；完整基础设施规格见附录。

3.3 检索相关性

标准信息检索（IR）指标——Precision@k、Recall@k、nDCG@k、MRR——按查询模态分层。「目标」查询分布为：单跳事实类（30%）、多跳推理类（30%）、表格类（20%）、图表类（10%）、对抗/不可回答类（10%），模态分类的 Fleiss κ=0.88（校准样本）。「当前」试点尚未实现这一分布。通用（General）领域的大多数查询是学术论文摘要类问题（「……的主要贡献是什么」），而且我们还没有大规模的查询级模态标签。第二阶段将解决这个问题。

作为参考，当前 QA 查询的构成为：金融 31%、法律 22%、医疗 18%、IT/技术 15%、制造 9%、学术 5%。图表类查询（10%）几乎全部来自 USPTO 专利和 PMC 论文，而这两者合计只占试点语料的 11.7%——阅读 §6.3 中的图表类检索结果时，应考虑到这种来源集中性。

3.4 生成有据性

四个指标。

#### 事实准确率（Factual Accuracy，FA）

可核查论断中被检索上下文蕴含（entailment）支持的比例。论断由一个在 FEVER [24] 上预训练的 T5 [21] 模型抽取；蕴含判定通过交叉编码器（mBERT [5]，准确率 0.85）完成。与人工蕴含判定的一致性为 0.79。

#### 幻觉率（Hallucination Rate，HR）

沿用 HalluLens [3] 的分类：外在幻觉、内在幻觉与凭空捏造三类错误。400 组（答案，上下文）对，两名评分者，Cohen's κ=0.73。幻觉判定在边界情形上确实带有主观性，因此我们认为 κ=0.73 是可以接受的。

#### 来源归因精确率/召回率（SAP/SAR）

短答案（<15 词）直接采用大模型验证，因为论断抽取在极短文本上不可靠。较长的答案则对照源上下文逐条论断核查，采用精确字符串匹配，辅以 Levenshtein 距离 <3 的模糊匹配兜底。

#### 答案完整度（Answer Completeness，AC）

由大模型在 4 级量表上评判：完整、基本完整、部分完整、不完整。这是我们的流水线表现最差的指标，后文将回到这一点。

#### 汇总

G = 0.30·FA + 0.25·SAP + 0.15·SAR + 0.20·(1−HR) + 0.10·AC。我们同时纳入 FA 与 (1−HR)，因为它们捕捉的是相关但不同的东西——FA 关注你所做的论断是否有依据，(1−HR) 关注你的答案中是否含有捏造内容。两者相关，但并不完全重合：一个答案可以在已陈述论断上拥有很高的事实准确率，同时仍包含幻觉性的附加内容。

在 800 个被评估样本上使用 GPT-5 的结果：FA=0.85（95% 置信区间 0.84–0.87），SAP=0.61（0.58–0.64），SAR=0.61（0.58–0.64），HR=0.15（0.13–0.16），AC=0.40（0.37–0.42）。汇总分 G=0.71。在 500 条查询的流水线对比子集上另行开展的来源归因评估给出了更高的数字（SAP=0.73，SAR=0.73）。差距源于查询构成：500 条查询子集以单跳事实类查询为主，这类查询的归因较为容易。我们以更保守的 800 样本数字作为主要报告结果。

4 数据集

4.1 构建方式

语料由采用宽松许可的公开文档集合构建。我们选择真实文档而非合成文档，一部分原因是真实文档具有我们关心的那种结构上的「脏乱」，一部分原因是许可必须毫无歧义。每个来源都必须跨过三道门槛：允许再分发与演绎的许可、具备复杂版式的真实文档文件（PDF 或结构化 HTML），以及与企业文档处理的直接相关性。

QA 对以半自动方式生成。由大模型从每篇文档中产出候选 QA 对；两名人工标注者审核每一对，存在分歧的样本被丢弃。我们采用分层抽样，以免金融与法律领域占比过大，并让较小的领域（制造、学术）按每篇文档比例获得更多 QA 对。质量控制手段包括：在 10% 样本上度量标注者间一致性（目标 κ≥0.85）、每个领域 50 对 QA 的专家复审，以及自动化一致性检查。当前发布版本为试点版。

4.2 公开数据来源

表 1 汇总了各来源、许可与文档数量。

表 1：按领域划分的公开数据来源。所有来源均允许在注明出处的情况下用于研究与再分发。「Has QA」表示已有预先存在的标注。「Pilot n」为当前文档数。各领域合计 1,417；完整 1,459 篇语料中剩余的 42 篇为跨领域或未分类文档。「—」表示该领域尚未覆盖。† 制造领域（n=4）因样本过小被排除在按领域分层的统计分析（§6.1、§6.5）之外；我们仍在本表中保留它，以记录来源规划，并将其标记为第二阶段的扩充目标。

4.3 试点评估语料

§§5–6 中的实证结果使用一个覆盖五个领域、共 1,459 篇文档的评估语料：通用（n=687，47%）、医疗（n=315，22%）、技术（n=244，17%）、金融（n=121，8%）、法律（n=46，3%）、制造（n=4，<1%）。文档来自 SEC EDGAR、CUAD、PubMedQA、PMC 开放获取库与 ArXiv。划分比例为 10/10/80（训练/验证/测试），产生一个 1,169 篇文档的测试集。10% 训练划分仅用于通过下游相关性分析校准指标权重（§3.1）；10% 验证划分用于超参数选择。不训练任何模型参数。评估流水线产出 800 个样本用于四轴生成评估，500 条查询用于流水线对比。

在按领域分层的分析中，我们将其归并为四个领域。技术领域（arXiv CS、StackExchange Docs）被并入通用领域，因为在试点中两类来源都以 arXiv 式学术文体为主，词汇重叠、解析特征相似。制造领域（n=4）因样本过小无法分层而被排除。归并后的分组为：通用 n=687、医疗 n=315、金融 n=121、法律 n=46，合计即 1,169 篇文档的测试集。需要指出这是一个标签层面的局限：在试点中，「通用」实际上是学术＋技术文体的超集，而非一个独立的企业领域。第二阶段将采用互斥标签，分设通用商业、技术与学术三个类别，按内容类型而非仅按来源仓库进行标注。

框架与代码是本文的首要贡献，并将随论文一并发布。全规模语料的目标是覆盖六个均衡领域的 5,000 篇以上文档。

4.4 数据集扩展路线图

第一阶段（当前）：1,459 篇语料，1,169 篇测试集。

第二阶段：借助半自动 QA 生成与双人标注验证，扩展至 3,000 篇以上（估计每篇文档 8–10 个 QA 对）。平衡代表性不足的领域，并新增学术领域。

第三阶段：社区驱动的扩展，达到 5,000 篇以上，完成全量标注，并建立版本化发布协议。

4.5 已知局限

若干条，不分先后。仅覆盖英语；跨语言泛化能力未知。领域不均衡：通用领域以 47% 占主导，法律与制造领域太小而无法进行有意义的分层，学术领域尚未纳入。公开来源可能无法完全代表企业专有文档。时间上偏向 2022–2025 年。半自动 QA 生成会引入纯人工标注不会有的偏差。

试点的查询分布是我们最担心的局限。通用领域的大多数查询是学术论文摘要类问题（「……的主要贡献是什么」），继承自我们所用的 FRAMES 风格 [11] 来源。医疗领域的查询则继承了 PubMedQA 的特征。两者都不能代表典型的企业工作流，如合规抽取、合同分析或财务对账。当前语料只是在「结构上」逼近企业复杂度（表格、图表、多栏版式、领域专用词汇），而非在「行为上」。第二阶段将向企业专属查询类型重新平衡。

划分比例为 10/10/80；任何文档都不会出现在多个划分中；按领域分层。

5 基线评估

5.1 流水线配置

六种配置。三种已完整实现并经过实证评估；另外三种是我们描述但尚未集成的参考架构。

已实现的三种：

1. BM25——TF-IDF 关键词检索，GPT-5 生成。基线方案。

2. 密集向量嵌入（Dense Embedding）——E5-large 嵌入，余弦相似度，GPT-5 生成。

3. 混合融合（Hybrid Fusion）——BM25 与密集向量分数按 0.5/0.5 插值，GPT-5 生成。

在三种配置中固定同一个生成器，使我们能把检索隔离为唯一的差异化变量。

参考架构：（4）ColPali-v1.2 视觉-语言检索，配 ColBERT 重排序；（5）ColQwen2-v1.0 视觉嵌入；（6）基于复杂度的智能体流水线选择。三者均尚未集成到我们的端到端流水线中——附录中附于其名的任何数字都是基于已发表基准的预测值，而非实测值。超参数见附录 A。

#### 关于解析阶段的说明

对于三条已实现的流水线，解析分数是基于预先抽取的文本计算的，而非对原始 PDF 应用专门的 OCR/解析工具。我们的试点文档（arXiv 论文、PubMedQA 摘要、SEC 财报）在其源仓库中即以机器可读文本形式存在。我们通过将摄入文本与参考标注对比来计算解析保真度（TIS、TEA、FCQ、LF）。这在附录 A 中被标记为「Pre-extracted（预抽取）」。其实际后果是：三条已实现流水线在构造上共享同一个解析分数（0.82）。要让评估轴 1 产生区分度，需要集成替代解析器（Tesseract、Docling、对原始图像运行 ColPali），这属于第二阶段的工作项。§6.1 中的阶段间相关性反映的是预抽取文本质量在文档层面的差异，而非不同解析工具引入的差异——阅读这些相关性结果时务必记住这一点。

5.2 结果

表 2：三条已实现流水线在 1,459 篇文档语料上的结果（500 条查询，1,169 篇测试集）。参考架构（ColPali、ColQwen2、智能体路由）因尚无实测数据而被略去；成本预测见 §6.4。「检索」列为 nDCG@5 / P@3。「生成」为共享汇总分 G=0.71（同一 GPT-5 生成器）。质量分 = 0.25·解析 + 0.50·检索 + 0.25·生成。

质量分中检索占主导的权重（50%）反映了一个事实：在我们今天实际能运行的各条流水线之间，检索才是架构上的差异化因素。混合融合（Q=0.84）与 BM25（Q=0.84）优于密集向量嵌入（Q=0.80），主要由检索分差驱动（0.92、0.91、0.83）。按领域自适应的权重方案已列入未来工作。

在 1,169 篇测试集上的 500 条查询规模下，流水线间的差异是可见的。密集向量嵌入（nDCG@5=0.83）明显低于 BM25（0.91）与混合融合（0.92）。密集向量与混合方案之间 0.09 分的差距具有实际意义。BM25 与混合方案基本打平（0.01 分差距），这符合一个更广泛的规律：BM25 是一个很强的基线，混合分数插值只能带来轻微提升。P@3 的数值更为接近（0.31–0.34），这在更严格的 top-3 度量下是符合预期的。对于尚在预测阶段的各流水线，在它们被实际运行之前无法评估显著性。

6 实证发现

6.1 阶段间相关性

我们原本预期解析质量能够预测下游质量。但基本上并不能。

在 1,169 篇测试集上的数字：

• 解析 → 检索：r=0.14（95% 置信区间 0.08–0.19，r²=0.019）

• 解析 → 生成：r=0.17（95% 置信区间 0.11–0.22，r²=0.028）

• 检索 → 生成：r=0.02（95% 置信区间 −0.04–0.08，r²<0.001）

解析质量对检索方差的解释不足 2%，对生成方差的解释不足 3%。检索质量对生成方差的解释几乎为零。这样的数字对线性级联假设构成了反驳。

这不是样本量造成的假象。在我们早期的试点（n=293）中，天花板效应压缩了检索方差；而在当前规模下，我们看到了 0.83–0.92 的真实 nDCG 分布，相关性却依然很弱。领域间差异确实存在——通用领域（n=687）的解析保真度最高（0.92），金融领域（n=121）最低（0.41）——但定性结论没有变化。

那么这意味着什么？诚实的回答是：我们也不完全确定，而且设计上的约束很重要。解析在三条流水线之间是固定的。生成器是同一个。指标是自动化代理，而非人工判断。其中任何一条都可能压低相关性。弱相关不等于因果独立。

带着这些注意事项，该结果仍然以有用的方式扩展了级联分析的文献。OHR-Bench [25] 建模的是一条严格的线性链。SF-RAG [16] 与 AgenticOCR [18] 主张存在不经过检索的解析→生成通路。我们在全部三对阶段上都观察到弱相关，这与「多条通路并存、且没有任何一条占主导」的多通路模型最为一致——至少在当前配置下如此。接近于零的检索→生成相关性（r=0.02，p=0.56，不显著）是最醒目的一点。在我们的设置中，检索排序质量与答案质量之间几乎没有关系。较可能正确的解读是：生成更多依赖被检回段落的「内容」，而非它们的「排序」。有针对性的消融实验可以厘清这一点——在固定上下文的同时改变检索质量——但我们尚未开展。

#### 统计学说明

显著性通过对 Pearson 相关系数的双尾 t 检验评估，并对三组同时比较做了 Bonferroni 校正（α=0.05/3=0.017）。解析→检索：t(1167)=4.74，p<0.001（校正后 p_adj<0.001）。解析→生成：t(1167)=5.75，p<0.001（校正后 p_adj<0.001）。检索→生成：t(1167)=0.58，p=0.56（校正后 p_adj=1.00）。前两项在统计上显著是因为样本量大；效应量仍然很小（r²<0.03），而效应量才是实践中真正要紧的。我们报告 Pearson 相关，是因为这些指标是取值于 [0,1] 的有界连续变量且无重尾——在该情形下 Pearson 与 Spearman 的量级趋于一致，且随论文发布的 correlation_analysis.py 将在公开产物中给出全部三种相关系数（Pearson、Spearman、Kendall）及自助法置信区间。

#### 答案完整度

在 800 个被评估样本上，AC 平均为 0.40（95% 置信区间 0.37–0.42）。对已陈述论断的事实准确率为 85.5%。也就是说，系统在作答时大体是对的，但它会遗漏内容——这是一个真实的部署问题，而以事实准确率为唯一导向的基准分数捕捉不到它。这确实是全文最具可操作性的结果。

6.2 文档长度与幻觉

自然的预期是幻觉随上下文长度增长。事实并非如此。

表 3：按上下文长度分组的幻觉率（GPT-5 评估器）。各组样本量：短 n=35、中 n=158、长 n=250、超长 n=21（合计 464；被排除的 336 个样本见下文）。95% 置信区间采用 Wilson 方法。

中等长度的幻觉最少（9.2%）。短文档最多（28.1%）。长文档居中。超长文档回升至 23.8%，但由于 n=21，该组的置信区间非常大（10.6%–45.1%）。「短 vs 中」是唯一明显不重叠的差距（短组下限 16.0% 对中组上限 14.7%）。超长组的回升可能是抽样噪声。

因此恰当的表述是：存在非单调、可能呈 U 形模式的「方向性证据」。在短与超长两组获得更大且均衡的样本加以验证之前，我们不会称之为已确认的结论。如果它确实成立，自然的解读是存在两种不同的失败模式——短上下文没有为有据生成提供足够信息（模型自行脑补），而超长上下文使模型不堪重负。这与 LongBench [1] 中观察到的长度依赖性能退化一致。语料整体层面的 HR 为 14.5%（n=800）。

我们此处不做参数化方差分析（ANOVA）。各组样本量不均衡且偏小，响应变量是二元指标而非连续值，前提假设不满足。基于底层分数的 Kruskal–Wallis 检验将连同 §6.1 的 Spearman/Kendall 分析一起，加入公开发布的产物中。

#### 被排除的样本

在四轴评估的 800 个样本中，464 个具有上下文长度元数据。其余 336 个被排除，原因是检索流水线返回的上下文块没有文档级长度标注（这些查询的被检段落由多个短块拼装而成，不存在单一源文档长度）。被排除集合在各领域间按比例分布（通用 58%、医疗 27%、金融 10%、法律 5%），且整体 HR 无显著差异（排除组 14.8%，纳入组 14.2%，不显著）。该排除不应使长度分析产生偏差。

6.3 模态效应

按模态分层的评估在框架范围之内（§3.3），但我们尚无法完全执行——语料缺少查询级的模态标注。领域层面的代理指标暗示了这些效应：金融文档（表格密集）解析分为 0.41，通用文档（文本为主）为 0.92。这是一个真实的差距，与表格抽取众所周知的难度相一致。ColPali [7] 报告了密集向量嵌入存在显著的模态差距，而视觉-语言模型可以弥合；在 ColPali 与 ColQwen2 完成集成之前，我们无法在多阶段流水线场景中复现这一发现。本节内容在下一个版本中会有很大不同。

6.4 成本–质量权衡

在这份语料上 BM25 胜出：Q=0.84，成本 1.0×。混合融合的质量与之持平，但成本为 1.6×。密集向量嵌入在两个轴上都被支配（Q=0.80，成本 1.5×）。对于这种规模与构成的文档集合，密集或混合检索带来的边际质量收益不足以抵偿额外的算力开销。

注意事项：通用领域（占查询的 47%）以学术论文摘要类查询为主，这类查询强烈有利于 BM25 的词法匹配。在包含更多表格类、图表类或语义密集型企业查询的语料上，成本–质量的排序可能反转。密集段落检索 [10] 与混合方法在此类场景中很可能展现优势。

参考架构的成本–质量分析推迟到它们被实际运行之后。基于已发表基准的预测相对成本比为：ColPali 4.4×、ColQwen2 4.5×、智能体路由 2.25×。这些是设计目标而非实测值，不参与任何质量结论。

6.5 领域特定模式

性能在各领域间差异很大。通用（n=687，47%）：解析保真度最高（0.92），幻觉中等（HR=0.43）。医疗（n=315，22%）：解析居中（0.62），幻觉最高（HR=0.47）。医疗文档很复杂——图表、表格、专业术语——这体现在 HR 上。金融（n=121，8%）：解析最低（0.41），反映了表格密集的财报文件；HR=0.44。法律（n=46，3%）：解析较高（0.90），HR=0.45。技术（n=244，17%）：在本语料中新近纳入；解析居中。

置信度说明：法律（n=46）与制造（n=4）的发现仅为方向性结论，需要在更大规模上验证。制造领域也因此被排除在正式的分层分析之外。

领域层面的高 HR（0.43–0.47）需要解释，因为它们看起来与语料层面 14.5% 的 HR（§6.2）不一致。两者度量的是不同的东西。领域层面的 HR 是「按文档计算的二元指标」（HR_binary = 至少包含一条幻觉论断的文档占比），在完整的 1,169 篇测试集上计算。14.5% 的整体比率则是「按 QA 对计算的连续幻觉分均值」（HR_continuous = 每个答案内幻觉论断的平均比例），在 800 个样本的评估上计算。两者在数学上是相容的：一篇文档的连续分可以很低（8 条论断中 1 条幻觉 = 12.5%），但在二元指标上仍被判为含幻觉。43–47% 的二元比率说明，近一半的文档至少包含一条幻觉论断。14.5% 的连续比率说明，每个答案的平均受染程度是中等的。两者都重要——二元 HR 反映幻觉出现的频度，连续 HR 反映每个答案受影响的程度。同时降低两者是一个领域特定的生成提示词调优问题。学术领域尚未纳入语料；将在第二阶段补充。

7 讨论

7.1 对企业采购的启示

统一基准给从业者最有用的东西，是一种一致的方式来比较自研方案与供应商方案、量化成本–准确率权衡，并找出对给定工作负载真正重要的瓶颈。我们的 GPT-5 结果（整体 HR 14.5%、FA 85.5%）是基线，而非前沿。有两件事我们会真正付诸行动：

1. 非单调的幻觉模式（§6.2）。平均表现具有误导性——短文档和超长文档都比中等长度文档更差，因此把三者混在一起的平均值掩盖了失败模式。采购评估应在长度分布的两端都进行测试。

2. 在这份语料上 BM25 位于帕累托前沿。对于这种规模与构成的文档集合，密集向量检索大概率不值得其成本。

领域间差异很大（解析保真度 0.41–0.92），因此领域特定的评估不是可选项。

7.2 局限性

领域不均衡是最大的一条——通用领域占语料的 47%，法律 3%，制造不足 1%。领域分层结论的统计功效相应受限；我们完全排除了制造领域（n=4）。

仅覆盖英语；跨语言泛化能力未知。κ=0.73 的自动幻觉检测可以接受，但算不上好。半自动 QA 生成会引入全人工标注不会有的偏差。对于高风险部署（法律、医疗），人工复审仍然必不可少。

相关性分析存在我们已在 §6.1 标记过的设计约束：解析固定、生成器共享、自动化代理指标。弱 Pearson 相关并不能确立各阶段在因果上相互独立。对 50–100 个样本开展有针对性的人工评估——并行评判解析、检索与生成——是定稿前的优先事项。

解析保真度权重（0.40/0.30/0.15/0.15）在 10% 训练划分上校准。自助法敏感性分析确认了排名稳定性（Kendall's τ>0.90），但在独立语料上做样本外验证会更有说服力。

答案完整度平均仅 0.40，因此以事实准确率为头条的数字高估了部署就绪度。这是我们反复回到的局限。

本基准反映的是 2025–2026 年的最先进水平，随着模型演进需要版本化发布。

7.3 未来方向

几项优先事项：

• 端到端实现三种参考架构（ColPali、ColQwen2、智能体路由），以实测取代预测。

• 在短与超长两组采用更大且均衡的样本，深入研究非单调幻觉模式。

• 对阶段间级联效应开展人工评估，以验证弱相关性这一发现。

• 集成专门的解析工具（Docling [27]、Tesseract、ColPali [7]），使评估轴 1 真正在流水线之间产生区分度。

• 将查询分布向企业专属查询类型（合规抽取、合同分析、财务对账）重新平衡，并补充学术、法律、制造领域的覆盖。

清单上的其他事项：跨语言扩展、以长上下文大模型替代分块检索、语义解析评估、因果干预实验（在拥有多个解析器后注入解析噪声），以及基准自身的版本化协议。

8 结论

EnterpriseDocBench 是一个四轴评估框架——解析、索引、检索、生成——由一个从五个企业领域的宽松许可公开文档中精选构建的基准支撑。我们有意将其表述为「多阶段」而非「完全端到端」：解析在我们的三条流水线之间是固定的，生成器是共享的，因此在解读因果级联结论时，应牢记 §6.1 中的设计约束。

在 1,459 篇文档的语料（1,169 篇测试集）上，有四项发现：

1. 阶段间相关性一致偏弱（所有 r<0.17，r²<0.03）。这是反对严格线性级联的初步证据。设计上的注意事项同样适用。

2. 幻觉与上下文长度呈非单调、可能为 U 形的关系：中等长度（9.2%）最好，短（28.1%）与超长（23.8%）都更差。超长组需要在更大规模上验证。

3. 流水线间的区分在此规模下是有意义的。混合融合（nDCG@5=0.92）与 BM25（0.91）优于密集向量嵌入（0.83）。BM25 在成本–质量上是帕累托最优的。

4. 答案完整度在各流水线中普遍偏低（AC=0.40）。对已陈述论断的事实准确率很高（85.5%），但答案存在遗漏——这是最具直接部署影响的差距。

框架、评估代码、采集脚本与评估数据将在论文被接收后发布。全规模数据集的目标是 5,000 篇以上文档，从公开来源（SEC EDGAR、CUAD、PubMed Central、ArXiv、USPTO）实现均衡的领域覆盖。没有任何基准是完成的，这个基准也不是。我们希望它能成为其他团队可以依托的基础，并鼓励大家整体地审视这些系统，而非一次只看一个阶段。

附录 A 流水线超参数

表 4：超参数规格。前三列为已实现并经过实证评估的配置；标有 † 的列为尚未集成的参考架构。智能体路由（†）因设计尚属初步而未列入本表；参见下方说明。选择 Temperature=0.7 是为了模拟真实的企业部署场景，在这类场景中一定程度的回复波动是可以接受的。标准的事实型 QA 基准通常使用 0.0–0.1，那会降低随机性幻觉——因此报告出的 14.5% HR 应被解读为相对于确定性配置的上界。

#### 智能体路由分类器（提案）

一个在查询复杂度标签上训练的逻辑回归模型。计划采用的特征：查询的 token 长度、实体提及数量、是否含有表格/图表关键词、问题类型指示符（5 维独热编码）。路由阈值：<0.3 → 简单（BM25），0.3–0.7 → 中等（混合融合），>0.7 → 复杂（ColPali）。仅为参考设计——实现与准确率评估将与 ColPali、ColQwen2 的集成一起推迟到未来工作。 PRIMARY_SOURCE: https://arxiv.org/html/2604.26382v1