Transformer networks, kiến trúc nền tảng của BERT và GPT, nổi bật nhờ cơ chế:

Convolutional Neural Network (CNN).

Recurrent Neural Network (RNN).

Attention mechanism (cơ chế chú ý).

Support Vector Machine (SVM).