VLM 如何用坐标 Token 实现短语定位与视觉 Grounding？

面试时怎么答

从接口统一解释：把归一化坐标量化到若干桶，再映射成特殊 Token，模型便能用自回归序列同时生成文本和框。说明训练样本需要把短语与对应坐标序列对齐。

追问精度时，重点解释桶数如何决定量化误差，以及为什么小目标对一两个坐标桶的偏差尤其敏感。生成式接口很统一，但密集检测未必比专用检测头合适。

可以这样答：

坐标 Token 先把边界框坐标归一化，再量化到有限区间并映射成特殊 Token，于是 VLM 可以在同一序列里生成短语和左上、右下坐标，用交叉熵统一训练。桶越多，量化误差越小，但词表和学习难度也会上升，解码时还可能出现越界或左右颠倒的框。它统一了文本与定位接口，却未必适合密集检测，尤其是小目标很多时，专用检测头往往更直接。

核心回答

视觉 Grounding 要建立文本短语与图像区域的显式对应。生成式 VLM 可以先把边界框坐标按图像宽高归一化，再量化到有限区间，为每个坐标分配离散位置 Token；训练序列把短语和四个坐标 Token 组织在一起，模型便能用统一的自回归目标同时生成描述与位置。例如一个框可表示为量化后的 \((x_{\min},y_{\min},x_{\max},y_{\max})\)，但具体量化粒度和序列格式由模型决定。

这种方式复用了 LLM 解码器，接口灵活，能做短语定位、指代表达理解和带框描述；代价是坐标量化误差、序列合法性和自回归累积错误。它也不意味着传统检测头失去价值：需要大量密集目标、严格实时性或高精度连续框时，专用检测结构可能更合适。

展开说明

训练数据必须包含可靠的“短语—区域”配对。若只有图像级 Caption，模型可能学会描述物体，却不知道具体指向哪个实例。Kosmos-2 等工作把位置表示嵌入文本序列，使 Grounding 能力与多模态语言任务共同训练。

量化把连续坐标映射到 \(0,\ldots,B-1\) 的桶，分辨率越高误差上界越小，但位置词表、样本需求和解码难度也会增加。推理后还要检查坐标顺序、范围、面积和图片预处理变换；如果模型看到的是裁剪或填充后的图，坐标必须正确映射回原图。

评测不能只看语言答案。常见 Grounding 指标使用 IoU 或在阈值下的准确率，还应包含多个同类实例、小目标、遮挡和“图中不存在该对象”的负例，防止模型总是输出一个看似合理的框。

工程实践

锁定训练和推理的 Resize、Crop 与 Padding 规则，在样本中保存从模型坐标到原图坐标的可逆变换。用约束解码或后处理拒绝越界、反向和空框，但不要把修正后的框当成原始模型能力。可视化短语与框做人工抽检，按目标大小和类别频率切分 IoU；高风险点击或机器人动作需在执行前再次用视觉或传感器验证。

常见追问

为什么要把坐标离散化？ LLM 通常预测离散 Token，量化后可以直接复用同一个词表和自回归损失。
桶数越多一定越好吗？ 不一定。更细量化降低理论误差，却增加学习难度，最终还受视觉分辨率与标注噪声限制。
生成框与检测头有何区别？ 生成框把位置当语言序列输出，接口统一；检测头直接回归或分类候选框，通常更适合密集、专门化检测。
如何测试模型没有乱指？ 加入不存在对象、同类多实例和小目标负例，并同时检查文本正确性与区域 IoU。

一句话复习

坐标 Token 把连续区域量化成可生成序列，让 VLM 联合学习“说什么”和“指哪里”，但必须处理量化、坐标变换与负例评测。

参考资料

Kosmos-2: Grounding Multimodal Large Language Models to the World