Trong xử lý ngôn ngữ tự nhiên, ‘tokenization’ là quá trình gì?

Quá trình chuyển đổi văn bản thành chữ thường

Quá trình chia văn bản thành các đơn vị nhỏ hơn, chẳng hạn như từ hoặc cụm từ

Quá trình loại bỏ các stop words

Quá trình phân tích cú pháp của câu