Tokenization trong NLP là quá trình:

Chuyển đổi văn bản thành giọng nói

Chia văn bản thành các đơn vị nhỏ hơn, chẳng hạn như từ hoặc cụm từ

Loại bỏ các từ dừng (stop words) khỏi văn bản

Gán nhãn từ loại (Part-of-Speech tagging) cho mỗi từ