Attention mechanism (cơ chế chú ý) trong mô hình Transformer giải quyết vấn đề gì của RNNs trong xử lý các chuỗi dài?

Tăng tốc độ huấn luyện mô hình

Giảm thiểu overfitting

Cải thiện khả năng song song hóa tính toán

Cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào, khắc phục vấn đề "quên" thông tin ở xa