Trong ngữ cảnh Xử lý ngôn ngữ tự nhiên, "tokenize" một văn bản nghĩa là gì?

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Chia văn bản thành các đơn vị nhỏ hơn, thường là từ hoặc cụm từ.

Chuyển đổi văn bản thành chữ thường.

Tìm gốc của các từ trong văn bản.