Để xử lý hiệu quả các từ "out-of-vocabulary" (OOV - từ ngoại từ điển) mà mô hình chưa từng gặp trong quá trình huấn luyện, kỹ thuật nào thường được sử dụng trong các mô hình ngôn ngữ hiện đại
11/30
Để xử lý hiệu quả các từ "out-of-vocabulary" (OOV - từ ngoại từ điển) mà mô hình chưa từng gặp trong quá trình huấn luyện, kỹ thuật nào thường được sử dụng trong các mô hình ngôn ngữ hiện đại, ví dụ như mô hình dựa trên Transformer?
Thay thế từ OOV bằng từ đồng nghĩa
Sử dụng mã hóa theo cặp byte (Byte Pair Encoding - BPE) hoặc các phương pháp phân tách từ con