FlashAttention 为什么更快，它改变了注意力复杂度吗？

面试时怎么答

第一句话先澄清它仍然计算精确的标准注意力，不是稀疏近似，也没有把理论计算复杂度从平方降成线性。核心机制是分块把 Q、K、V 放入片上 SRAM，用 Online Softmax 维护行最大值与归一化量，避免把完整注意力矩阵写回 HBM。追问收益时，区分 IO、峰值显存和实际端到端速度。

可以这样答：

FlashAttention 计算的仍是精确标准注意力，时间复杂度仍为序列长度的平方。它把 Q、K、V 分块搬到片上 SRAM，在块间用 Online Softmax 累积每行最大值、归一化因子和输出，不再把完整 \(N\times N\) 注意力矩阵反复写入 HBM。减少的是显存读写和中间激活，因此通常更快、更省显存，但不是通过近似或稀疏化降低理论 FLOPs。

核心回答

FlashAttention 的关键不是近似注意力，而是 IO-aware 的精确计算重排。标准实现常把完整的 \(QK^\top\) 分数矩阵和 Softmax 中间结果写入高带宽显存，再多次读回；FlashAttention 把 Q、K、V 分块搬入更快的片上存储，在块内计算，并用在线 Softmax 维护每行的最大值和归一化和，从而不必物化完整的 \(n\times n\) 中间矩阵。它仍执行二次量级的注意力计算，但显著减少显存读写和中间激活占用。

展开说明

Softmax 需要整行最大值和归一化分母，看似难以分块。在线算法为每个 Query 行维护当前最大值与指数和；处理新块时，用新的最大值重新缩放旧统计量，因此最终结果与整行 Softmax 等价，只存在正常浮点舍入差异。

原始注意力的时间复杂度仍约为 \(O(n^2d)\)，所以 FlashAttention 不能把任意长上下文变成线性计算。它改善的是 IO 复杂度和常数，并把保存 \(n^2\) 注意力矩阵的需求降下来。反向传播可重算部分块内结果，以更多计算换更少激活存储。

工程实践

收益取决于序列长度、Head 维度、数据类型、GPU 和内核支持。短序列或不支持的形状可能收益有限，框架还可能静默回退到普通实现。压测时应确认实际选中的内核，并同时比较端到端延迟、吞吐、峰值显存和数值误差，而不是只测一个 Attention 算子。

常见追问

FlashAttention 为什么能分块计算 Softmax？ 在线 Softmax 可维护每行到当前为止的最大值和指数和；读入新块时按新最大值重缩放旧统计量即可精确合并。
它减少的是 FLOPs、HBM 访问还是两者？ 主要减少 HBM 访问和中间矩阵存储，标准注意力的渐近 FLOPs 仍是二次；部分版本会因重算略增 FLOPs。
为什么反向传播可以通过重算节省显存？ 不保存完整注意力矩阵，反向时利用已存的归一化统计重新计算所需块，以额外计算换取显存。

一句话复习

FlashAttention 不改变注意力的二次计算本质，而是通过分块和在线 Softmax 减少昂贵的显存 IO 与中间矩阵。

参考资料

面试主题：LLM & Agent Interview Guide 高频题整理
技术依据：FlashAttention