Mô hình ngôn ngữ "Transformer" đã đạt được hiệu suất vượt trội trong nhiều nhiệm vụ NLP nhờ cơ chế "attention" (chú ý). Cơ chế này hoạt động như thế nào?

Mã hóa tuần tự văn bản đầu vào và giải mã tuần tự văn bản đầu ra.

Sử dụng mạng nơ-ron tích chập để trích xuất đặc trưng từ văn bản.

Phân tích tần suất xuất hiện của các từ trong văn bản.

Cho phép mô hình học cách gán trọng số khác nhau cho các phần khác nhau của dữ liệu đầu vào khi tạo ra đầu ra.