Trong xử lý ngôn ngữ tự nhiên (NLP), ‘tokenization’ (tách từ) là bước đầu tiên để làm gì?

Chia văn bản thành các đơn vị nhỏ hơn như từ hoặc cụm từ

Chuyển đổi văn bản thành biểu diễn số

Xác định ngữ pháp của câu

Loại bỏ các từ dừng (stop words)