Trong mô hình Transformer, thành phần 'self-attention' (tự chú ý) cho phép mô hình:

Xử lý dữ liệu tuần tự theo thứ tự

Tập trung vào các phần khác nhau của **cùng một** chuỗi đầu vào khi xử lý mỗi vị trí

Tập trung vào chuỗi đầu vào khác khi tạo ra chuỗi đầu ra

Giảm chiều dữ liệu đầu vào