多语言 Embedding 如何对齐不同语言的语义空间？

面试时怎么答

多语言 Embedding 要同时满足跨语言同义靠近和语言内可区分，不能只说“放进统一空间”。解释平行句对、共享编码器、对比损失与批内负例，再指出高资源语言会主导采样、翻译对有噪声、低资源语言可能出现 Hubness；追问时按语言和领域切片。

可以这样答：

多语言 Embedding 要让语义相同、语言不同的文本靠近，同时保留语言内区分度。常见做法是共享或部分共享编码器，用平行句对做对比学习，并把批内其他句子当负例。高资源语言容易主导训练，机器翻译对也会带来噪声，因此必须平衡语言采样并关注低资源语言的空间退化。

核心回答

常见方法用共享多语言编码器处理各语言，并把翻译句对作为正样本、其他句子作为负样本做对比或翻译排序训练，使语义相同的跨语言文本靠近。也可将高质量英文句向量教师蒸馏到多语言 Student。对齐效果取决于平行语料覆盖、分词器、语言采样和难负例，不能只凭“共享参数”假设所有语言自然落在同一空间。

展开说明

LaBSE 结合大规模多语言预训练与双向翻译排序目标，支持跨语言句向量。高资源语言的数据量容易主导梯度，低资源语言需温度采样、数据平衡或知识迁移。跨语言同形词可能是误导性负例，翻译数据也可能过于书面化，导致真实查询、代码混写和方言场景退化。

工程实践

按“查询语言×文档语言”矩阵报告 Recall，而不是只看平均分；加入零样本语言、代码混写、转写文本和领域术语切片。检查各语言分词长度、向量范数与最近邻语言分布，防止系统只按语言聚类。若使用机器翻译构造训练对，要记录模型版本并抽检实体、否定和数字是否保真。

常见追问

1. 共享词表是否足以实现跨语言对齐？ 不足；共享子词能传递部分形式信息，但仍需要预训练或对齐目标建立语义对应。
2. 为什么英文效果好不能代表多语言效果好？ 训练规模、分词效率、语序和领域覆盖都不同，平均指标还会掩盖低资源语言退化。
3. 翻译后检索和直接跨语言检索怎么选？ 翻译可复用单语检索但增加延迟与翻译误差；直接检索更简洁，但需要可靠的跨语言对齐，应用实测决定。

一句话复习

多语言向量靠共享编码器加翻译对比信号对齐；必须按语言对矩阵评测，重点防止高资源语言掩盖长尾退化。

参考资料

• 面试主题：LLMs Interview Questions
• 技术依据：Language-agnostic BERT Sentence Embedding