Mục tiêu chính của kỹ thuật 'tokenization' trong NLP là gì?

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Chia văn bản thành các đơn vị nhỏ hơn, ví dụ như từ hoặc cụm từ.

Tìm ra gốc từ của các từ trong văn bản.

Gán nhãn từ loại (part-of-speech) cho mỗi từ.