Kỹ thuật 'Tokenization' trong NLP có nghĩa là:

Chuyển đổi văn bản thành chữ thường.

Chia văn bản thành các đơn vị nhỏ hơn, thường là từ hoặc câu.

Loại bỏ các dấu câu và ký tự đặc biệt.

Sửa lỗi chính tả trong văn bản.