Trong NLP, 'tokenization' là quá trình:

Chuyển đổi văn bản thành giọng nói.

Phân tích ý nghĩa ngữ nghĩa của câu.

Chia văn bản thành các đơn vị nhỏ hơn như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.