Transformer network (mạng Transformer) khắc phục vấn đề 'gradient vanishing' của RNN bằng cách nào?

Sử dụng cơ chế attention (cơ chế chú ý) để cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào

Tăng số lượng lớp ẩn trong mạng

Sử dụng hàm kích hoạt ReLU thay vì sigmoid

Áp dụng kỹ thuật dropout