Trong NLP, 'tokenization' là quá trình:

Biến đổi văn bản thành giọng nói.

Phân chia văn bản thành các đơn vị nhỏ hơn, ví dụ như từ hoặc cụm từ.

Gán nhãn ngữ pháp cho từng từ trong câu.

Loại bỏ các từ dừng (stop words) khỏi văn bản.