Transformer 是深度学习中一种用于处理序列数据（如文本、音频、时间序列等）的模型架构，具有并行处理和捕捉远程依赖关系的能力，它的核心创新是自注意力机制（Self-Attention Mechanism），使得模型能够在不依赖于递归结构的情况下处理序列中的全局依赖。
Transformer 最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出，与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，它不需要按顺序处理数据，而是通过 自注意力机制（Self-Attention Mechanism）来处理数据。这种设计使得 Transformer 能够更有效地并行处理数据，从而在处理长序列时更加高效。
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习的架构，特别适用于处理具有网格拓扑结构的数据，如图像（2D网格）和音频（1D序列），它在计算机视觉、图像和视频识别、图像分类、医学图像分析等领域中非常流行且有效。
Transformer 是一种深度学习模型架构，最早由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出，专门为处理序列数据（如自然语言处理任务中、时间序列预测等）而设计。
与之前的递归神经网络（RNN）和长短期记忆网络（LSTM）相比，Transformer 通过 注意力机制（Attention Mechanism）来捕捉序列中各个元素之间的依赖关系，从而避免了传统序列模型（RNN 和 LSTM）在处理长序列时的 梯度消失或梯度爆炸 的问题，显著提高了并行计算的能力，并且在处理长序列时具有更好的效果。