Hypergraph is more powerful. Transform unstructured text into structured knowledge with LLMs. Graphs, hypergraphs, and spatio-temporal extractions — with one command.
# 注意力机制就是你所需要的一切
## 摘要
主流的序列转导模型基于复杂的循环或卷积神经网络,包含编码器和解码器。表现最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构——Transformer,完全基于注意力机制,彻底摒弃了循环和卷积。在两个机器翻译任务上的实验表明,这些模型在质量上更优,同时具有更强的并行化能力,训练时间显著减少。
## 作者
- Ashish Vaswani
- Noam Shazeer
- Niki Parmar
- Jakob Uszkoreit
- Llion Jones
- Aidan N. Gomez
- Lukasz Kaiser
- Illia Polosukhin
## 引言
循环神经网络,特别是长短期记忆网络(LSTM)和门控循环神经网络(GRU),已经在序列建模和转导问题(如语言建模和机器翻译)中被牢固确立为最先进的方法。此后,众多努力持续推动循环语言模型和编码器-解码器架构的边界。
## 核心创新
Transformer 摒弃了循环结构,转而完全依赖注意力机制来建模输入和输出序列之间的全局依赖关系。这允许更高程度的并行化,并且在使用八个 P100 GPU 训练仅十二小时后就能达到翻译质量的新最先进水平。
## 模型架构
大多数竞争性的神经序列转导模型都具有编码器-解码器结构。编码器将符号表示的输入序列映射到连续表示的序列。给定连续表示后,解码器逐个元素地生成符号的输出序列。
## 注意力机制
注意力函数可以描述为将查询和一组键-值对映射到输出,其中查询、键、值和输出都是向量。输出被计算为值的加权和,其中分配给每个值的权重由查询与相应键的兼容性函数计算得出。
## 性能表现
在 WMT 2014 英德翻译任务上,我们的模型取得了 28.4 的 BLEU 分数,超过了所有现有模型(包括集成模型)2.0 分以上。在 WMT 2014 英法翻译任务上,我们的模型建立了新的单模型最先进水平,BLEU 分数达到 41.0。
## 结论
我们提出了 Transformer,第一个完全基于注意力的转导模型,用多头自注意力取代了编码器-解码器架构中最常用的循环层。这种架构允许显著更多的并行化,并在机器翻译任务上达到了最先进的成果。