Trong xử lý ngôn ngữ tự nhiên (NLP), thuật ngữ ‘tokenization’ (tách từ) có nghĩa là gì?

Quá trình chia văn bản thành các đơn vị nhỏ hơn như từ, cụm từ hoặc câu

Gán nhãn ngữ pháp cho các từ trong câu

Biến đổi văn bản thành biểu diễn số

Phân tích tình cảm của văn bản