Trong Xử lý ngôn ngữ tự nhiên (NLP), 'tokenization' đề cập đến quá trình nào?

Phân tích cú pháp câu để xác định cấu trúc ngữ pháp.

Chia văn bản thành các đơn vị nhỏ hơn, thường là từ hoặc cụm từ.

Gán nhãn từ loại (POS tagging) cho mỗi từ trong câu.

Loại bỏ các từ dừng (stop words) khỏi văn bản.