Khi xử lý văn bản tiếng Việt, việc "tokenization" (phân tách từ) có thể gặp thách thức đặc biệt nào so với tiếng Anh?

Tiếng Việt có ít từ vựng hơn tiếng Anh.

Tiếng Việt có nhiều từ ghép và từ láy mà không có dấu cách rõ ràng.

Tiếng Việt không sử dụng bảng chữ cái Latinh.

Tiếng Việt có cấu trúc ngữ pháp phức tạp hơn tiếng Anh.