Để giảm thiểu kích thước từ vựng trong mô hình NLP và xử lý các ngôn ngữ có hình thái phong phú (morphologically rich languages), kỹ thuật nào sau đây thường được sử dụng?
23/30
Để giảm thiểu kích thước từ vựng trong mô hình NLP và xử lý các ngôn ngữ có hình thái phong phú (morphologically rich languages), kỹ thuật nào sau đây thường được sử dụng?
Loại bỏ từ dừng (Stop word removal)
Nguyên thể hóa (Lemmatization)
Stemming
Phân tách từ thành đơn vị con (Subword tokenization)