Trong Xử lý Ngôn ngữ Tự nhiên (NLP), kỹ thuật ‘Tokenization’ là gì?

Chuyển đổi văn bản thành các vector số

Quá trình chia văn bản thành các đơn vị nhỏ hơn như từ, cụm từ hoặc ký tự

Loại bỏ các từ dừng (stopwords) khỏi văn bản

Biểu diễn ý nghĩa ngữ nghĩa của từ