Thuật ngữ 'tokenization' trong NLP đề cập đến quá trình:

Chuyển đổi văn bản thành giọng nói

Chia văn bản thành các đơn vị nhỏ hơn, ví dụ như từ hoặc cụm từ

Gán nhãn từ loại cho mỗi từ trong câu

Loại bỏ các từ dừng (stop words) khỏi văn bản