预训练数据如何做 Benchmark Decontamination？

面试时怎么答

去污染不能只查完全重复，要按由严到松的证据链说明：规范化精确匹配、n-gram 或 MinHash 的局部重合、语义近邻与时间戳审计。题目和答案应分别检查，因为只见过答案也可能抬高分数。追问阈值时，强调抽样估计误删与漏检，不能为了“零命中”把正常训练文本全删掉。

可以这样答：

Benchmark Decontamination 要检查训练语料是否直接或近似包含评测题及答案。可以先做大小写、标点和空白规范化后的精确匹配，再用 n-gram、MinHash 找局部重合，最后对改写样本做语义检索和人工抽查。题目命中与答案命中应分开报告，并结合数据时间戳。阈值过松会漏污染，过严则会误删正常领域文本。

核心回答

Benchmark Decontamination 是在训练前检查并移除与评测集重叠的文档或片段，避免模型因见过题目、答案或近似副本而虚高。通常先规范化评测题与语料，再用精确字符串、连续 n-gram、MinHash 或检索模型找候选，最后按“匹配长度、覆盖率、是否包含答案”等规则判定并记录删除。

它比一般语料去重更强调 Train–Test 边界和评测解释。阈值过松会漏掉改写或网页镜像，过严会把常见短语、公共知识或合法相似任务全部删掉；因此结果应报告检测定义、污染比例和敏感性分析，而不是宣称评测“绝对无污染”。

展开说明

精确匹配适合代码和固定题面，n-gram 可识别长段复用，语义检索能召回改写但误报更高。可按 Benchmark item 建倒排索引，在大语料中查找长度足够的共同片段；短选择题还应分别检查题干、选项与答案解释。只删除完整题面可能仍留下答案或解题模板。

最好在数据冻结前完成去污染并版本化规则。模型已经训练后才发现污染，无法可靠“忘掉”这些样本；应标注受影响条目、给出剔除后的分数，并尽量使用时间更新、私有保留或重新生成的等价评测。即使没有文本重叠，Benchmark 也可能通过训练教程、答案库或合成数据间接泄漏。

工程实践

对每个 Benchmark 固化版本、许可、哈希和匹配配置，保存候选证据以供复核。人工抽查阈值两侧案例，分别统计 exact、n-gram 和 semantic 命中。评测报告同时给出全量分数与 clean subset 分数，并把训练数据截止时间、公开时间和去污染局限写清楚。

常见追问

为什么普通去重不能替代 Benchmark 去污染？ 普通去重主要消除训练集内部副本；去污染还必须把外部评测条目与整个训练集交叉比较。
语义相似就应该删除吗？ 不一定。相似可能来自公共知识或同类任务，需结合长片段、答案泄漏和人工审核，避免把正常泛化机会删掉。
训练后发现污染怎么办？ 不能仅靠重新评测声称模型已遗忘；应隔离受影响条目、报告 clean subset，并换用可信的新评测集。

一句话复习

Benchmark Decontamination 用多级匹配守住 Train–Test 边界，并通过证据留存、阈值审核和 clean subset 报告诚实呈现残余污染。