Q-Former 如何用 Learnable Query 压缩视觉信息？

面试时怎么答

用“固定数量的信息槽”来定义 Q-Former，比背结构名称更直观。说明 Learnable Query 作为 Q，图像特征作为 K、V，经 Cross-Attention 得到固定长度视觉 Token，再送给语言模型。

深挖一般会问 Query 数量。回答它是信息保真与语言侧开销的旋钮：少了会漏小字和密集目标，多了会增加上下文与延迟；视觉编码器本身的成本并没有被省掉。

可以这样答：

Q-Former 放在视觉编码器和语言模型之间，用一组固定数量的可学习 Query 去查询图像特征。Query 提供 Q，图像特征提供 K、V，Cross-Attention 将可变长度视觉信息压成固定数量的视觉 Token。它本质上是信息瓶颈：Query 少，送给语言模型的序列更短，却容易漏掉小字和密集目标；Query 多，信息更完整，但压缩的意义会逐渐减弱。

核心回答

Q-Former 是 BLIP-2 中连接冻结视觉编码器与冻结 LLM 的轻量 Transformer。它维护固定数量的 Learnable Query，Query 通过 Cross-Attention 从视觉编码器产生的大量图像特征中读取任务相关信息，最后输出固定数量的查询表示。这样，无论原始图像产生多少 Patch 特征，传给后续语言模型的接口长度都可由 Query 数控制。

在一次 Cross-Attention 中，\(Q\) 来自 Learnable Query 经过前序 Self-Attention 等层更新后的当前隐藏状态，并非每层都直接使用最初的 Query 参数；\(K\) 和 \(V\) 来自冻结图像编码器的输出。若有 \(M\) 个 Query、\(N\) 个视觉特征，则主要注意力映射形状为 \(M \times N\)，输出仍是 \(M\) 个向量。它是有损的信息瓶颈：减少后续 LLM 的视觉 Token，并不意味着视觉编码器读取图像或 Q-Former 关注全部图像特征的成本消失。

展开说明

BLIP-2 的 Q-Former 包含相互协作的图像侧与文本侧 Transformer 机制，并让 Learnable Query 与文本、图像在不同预训练目标下建立联系。论文先进行视觉—语言表示学习，使用图文对比、图文匹配和图像条件文本生成目标，让 Query 学会抽取与语言相关的视觉证据；随后把 Query 输出投影到冻结 LLM 的输入空间，进行视觉到语言的生成式学习。

固定 Query 数提供可控的 Token 预算，但也形成容量上限。Query 太少可能漏掉小目标、文字或多对象关系；Query 太多会增加 Q-Former、Projector 和 LLM Prefill 成本。不同 VLM 可能改用 Perceiver Resampler、Pooling、Token Merger 或直接 Patch Token，不能把 Q-Former 当作所有模型的统一结构。

工程实践

选择 Query 数时按任务拆分评测：通用描述可能只需较紧凑表示，OCR、图表、多对象定位通常需要更多细节。记录视觉特征数、Query 数、Cross-Attention 显存、LLM 输入 Token 与端到端延迟；同时可视化或探测 Query 的注意区域，检查是否全部集中到相同位置。冻结大模型虽节省训练资源，也限制领域适应能力，因此医疗、遥感等任务仍需评估是否解冻部分视觉层。

常见追问

Q-Former 中 Cross-Attention 的 Q、K、V 分别来自哪里？ Q 来自 Learnable Query 的隐藏状态，K 和 V 来自视觉编码器的图像特征。
为什么固定数量 Query 可以压缩视觉 Token？ Cross-Attention 对每个 Query 聚合全部视觉特征，最终只输出与 Query 数相同的向量序列。
Q-Former 是否让高分辨率图像的全部计算都变成常数？ 不是；传给 LLM 的长度可固定，但视觉编码器和 Cross-Attention 仍需处理原始视觉特征。
Query 越多是否一定越好？ 不是；更多 Query 提高容量，也增加显存、延迟和冗余，需要按细粒度任务与预算验证。

一句话复习

Q-Former 用固定数量的可学习 Query 交叉注意大量图像特征，把视觉信息压成受控长度的语言接口，但这种压缩有信息与计算取舍。

参考资料

原论文：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models