文档 VLM 中 OCR-first 与 OCR-free 路线如何选择？

面试时怎么答

这题不是让你站队，而是给选择条件。需要字符级可追溯、版式规整时，OCR-first 更容易审计；复杂版面、文字与图形强耦合时，OCR-free 可能避免模块级错误传播。然后分别说清前者的级联误差与后者的数据、分辨率成本。若追问评测，按扫描件、表格、手写等文档类型分桶。

可以这样答：

OCR-first 先检测和识别文字，再把文本与版面信息交给下游模型，模块清楚、字符可追溯，适合票据和规整文档；但检测或识别错误会级联。OCR-free 直接把图像编码成视觉 Token 做端到端理解，更适合文字与图形强耦合的复杂版面，却更依赖训练数据、分辨率和计算量。选择应由文档类型与可审计要求决定。

核心回答

OCR-first 先用 OCR 得到文字、位置和置信度，再让布局模型或 LLM 结合文本与二维坐标完成分类、抽取和问答。它可解释、易检索，成熟 OCR 在清晰文档上成本可控；缺点是识别、阅读顺序和版面错误会传递到下游。OCR-free 路线直接从文档图像生成结构化文本或答案，把识别与理解端到端优化，能减少外部 OCR 依赖，但需要更多预训练数据，输出约束、低资源语言和高分辨率细字仍是难点。

选择取决于文档质量、语言覆盖、任务类型、延迟和可审计要求，而不是哪条路线理论上更新。票据字段抽取可能受益于端到端模型；需要逐字引用、全文搜索和人工校对的场景通常仍希望保留 OCR 结果与坐标。

展开说明

文档理解不仅是识字，还要恢复标题层级、列、表格、键值关系和阅读顺序。OCR-first 模型可以将文字 Token、二维位置和视觉特征联合编码；OCR-free 模型则由视觉编码器读取页面，解码器按约定 Schema 生成字段。后者避免 OCR 错误硬切断梯度，但可能以生成错误、漏字或无效 JSON 的形式暴露失败。

端到端平均准确率不能说明整条链路可靠。应把字符识别、字段定位、结构恢复和业务校验分开评测。多页文档还需页排序、跨页表格和上下文预算；无论哪条路线，过度缩放都会让小字信息不可恢复。

混合架构也很常见：同时给模型页面图像和 OCR 文本，或者 OCR-free 生成候选后用词典、校验规则和原图区域复核。组合能提高覆盖，但要防止两个来源冲突时模型无依据地选择。

工程实践

按扫描件、手机照片、语言、模板和字体大小建立切片；记录字符错误率、字段 F1、表格结构指标、无效 Schema 率和端到端人工修正时间。保留字段到页面区域的 provenance，低置信度时展示原图供复核。上线前锁定缩放、旋转、色彩和页切分流程，限制最大页面数与像素，并对身份证、合同等敏感文档实施最小留存和访问控制。

常见追问

OCR-free 是否完全不做文字识别？ 它不依赖独立 OCR 输出，但模型内部仍必须从像素学习文字表征和生成。
为什么 OCR 错误会被放大？ 一旦字符或坐标错误成为下游唯一输入，理解模型通常无法访问原像素来纠正。
表格任务为什么特别难？ 单元格关系同时依赖文字、二维位置、跨行列结构和阅读顺序，简单线性文本容易丢失结构。
可以同时使用 OCR 和原图吗？ 可以，混合输入能互补，但必须记录冲突并验证模型是否真正使用视觉证据。

一句话复习

OCR-first 用可解释的文字与坐标换模块化能力，OCR-free 用端到端视觉生成减少错误级联，选型要按文档切片和审计需求验证。