Trong lĩnh vực xử lý ngôn ngữ tự nhiên, ‘attention mechanism’ (cơ chế chú ý) giải quyết vấn đề chính nào trong các mô hình sequence-to-sequence?

Vanishing gradient (mất mát đạo hàm)

Thời gian huấn luyện quá lâu

Khả năng xử lý các chuỗi dài (long-range dependencies)

Sự thiếu hụt dữ liệu huấn luyện