Tokenization trong NLP là quá trình:

Chuyển đổi văn bản thành giọng nói.

Chia văn bản thành các đơn vị nhỏ hơn, ví dụ như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Gán nhãn từ loại (part-of-speech tagging) cho các từ.