"Tokenization" (Mã hóa token) là quá trình đầu tiên trong nhiều quy trình NLP. Nó làm gì?

Phân tích cấu trúc ngữ pháp của câu

Loại bỏ các từ dừng (stop words) khỏi văn bản

Chia văn bản thành các đơn vị nhỏ hơn, thường là từ hoặc cụm từ

Chuyển đổi văn bản thành dạng số