题目
Transformer模型中的____机制允许模型在编码时并行计算所有位置的上下文表示，显著提升训练效率。
Transformer模型中的____机制允许模型在编码时并行计算所有位置的上下文表示，显著提升训练效率。
题目解答
答案
自注意力
解析
考查要点：本题主要考查对Transformer模型核心机制的理解，特别是自注意力机制的作用和优势。
解题核心思路：
Transformer模型通过自注意力机制实现并行计算，突破了传统序列模型（如RNN）的串行处理限制。自注意力机制允许模型在编码过程中同时关注序列中所有位置的信息，从而高效构建上下文表示。
破题关键点：
- 明确区分“自注意力”与普通注意力机制：自注意力是序列对自己信息的加权关注，普通注意力是跨序列关注。
- 理解并行计算的实现原理：自注意力通过矩阵运算同时处理所有位置，无需按顺序计算。
自注意力机制的作用：
- 并行处理：自注意力机制通过计算输入序列中每个位置与其他所有位置的相关性，一次性生成所有位置的上下文表示，无需逐个处理。
- 全局依赖：每个位置的输出都综合了序列中其他位置的信息，捕捉长距离依赖关系。
- 效率提升：矩阵运算的并行特性使训练速度显著加快，尤其适用于大规模数据。
对比传统模型：
- RNN/LSTM需按顺序处理序列，时间复杂度为$O(n)$。
- Transformer通过自注意力将时间复杂度降低为$O(1)$（固定长度的矩阵运算），极大提升效率。