Trong ngữ cảnh của mô hình Transformer, "attention mechanism" (cơ chế chú ý) có vai trò gì?

Tăng tốc độ tính toán của mô hình

Giảm thiểu hiện tượng overfitting

Thay thế cho lớp mạng nơ-ron tích chập (CNN)

Cho phép mô hình tập trung vào các phần quan trọng nhất của đầu vào khi xử lý