Attention Is All You Need (注意力机制就是你所需要的一切)

这篇论文介绍了 Transformer 模型，这是一种完全基于注意力机制的全新神经网络架构，完全摒弃了传统的循环和卷积层。

在两个机器翻译任务上的实验表明，这些模型不仅在质量上优于之前的模型，而且具有更强的并行性，训练所需的总时间也大幅减少。

核心贡献

1. 自注意力机制 (Self-Attention)：通过关联同一序列的不同位置来计算序列的表示。
2. 多头注意力 (Multi-Head Attention)：允许模型同时关注来自不同表示子空间的信息。
3. 消除循环依赖：使得大规模并行计算成为可能，直接催生了 GPT、BERT 等大语言模型的发展。