"Attention mechanism" trong Transformer hoạt động như thế nào?

Tăng tốc độ tính toán của mạng nơ-ron

Giảm số lượng tham số của mô hình

Cho phép mô hình tập trung vào các phần khác nhau của chuỗi đầu vào khi tạo ra đầu ra, bằng cách gán trọng số khác nhau cho mỗi vị trí đầu vào

Chuẩn hóa dữ liệu đầu vào