Tokenization trong NLP là quá trình:

Chuyển đổi văn bản thành giọng nói.

Chia văn bản thành các đơn vị nhỏ hơn, chẳng hạn như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Gán nhãn từ loại (POS tagging) cho mỗi từ trong văn bản.