Mục tiêu chính của việc 'token hóa' (tokenization) trong NLP là gì?

Chuyển đổi văn bản thành giọng nói

Chia văn bản thành các đơn vị nhỏ hơn, có ý nghĩa (ví dụ: từ, cụm từ)

Loại bỏ các từ dừng (stop words) khỏi văn bản

Tìm kiếm các thực thể có tên (named entities) trong văn bản