Attention mechanism (cơ chế chú ý) trong Transformer hoạt động như thế nào?

Tăng tốc độ tính toán của mạng

Cho phép mô hình học cách gán trọng số khác nhau cho các phần khác nhau của đầu vào khi tạo ra đầu ra

Giảm kích thước bộ nhớ cần thiết để huấn luyện mô hình

Cải thiện khả năng phân loại văn bản