Transformer networks (ví dụ: BERT, GPT) vượt trội hơn RNN trong nhiều tác vụ NLP nhờ cơ chế nào?

Cơ chế hồi quy (Recurrence).

Cơ chế chú ý (Attention).

Cơ chế tích chập (Convolution).

Cơ chế pooling (Pooling).