Trong các mô hình ngôn ngữ dựa trên mạng nơ-ron (neural network language models), cơ chế "attention" (chú ý) đóng vai trò gì?
A. Tăng tốc độ huấn luyện mô hình bằng cách song song hóa các phé
6/30
Trong các mô hình ngôn ngữ dựa trên mạng nơ-ron (neural network language models), cơ chế "attention" (chú ý) đóng vai trò gì?
Tăng tốc độ huấn luyện mô hình bằng cách song song hóa các phép tính
Giảm hiện tượng "vanishing gradient" trong quá trình huấn luyện mạng nơ-ron sâu
Cho phép mô hình tập trung có chọn lọc vào các phần khác nhau của dữ liệu đầu vào khi đưa ra dự đoán, đặc biệt quan trọng trong xử lý các chuỗi dài
Cải thiện khả năng khái quát hóa của mô hình bằng cách thêm nhiễu vào quá trình huấn luyện