Mục đích chính của việc 'tách từ' (tokenization) trong NLP là gì?

Giảm kích thước của văn bản đầu vào.

Chia văn bản thành các đơn vị nhỏ hơn, có ý nghĩa (tokens).

Loại bỏ các từ không quan trọng khỏi văn bản.

Chuyển đổi văn bản sang dạng số.