Trong NLP, 'contextual word embedding' (ví dụ: BERT, ELMo) khác biệt so với 'word embedding' truyền thống (ví dụ: Word2Vec) như thế nào?

Contextual word embedding chỉ hoạt động với tiếng Anh.

Contextual word embedding tạo ra biểu diễn vector duy nhất cho mỗi từ, bất kể ngữ cảnh.

Contextual word embedding tạo ra biểu diễn vector khác nhau cho cùng một từ tùy thuộc vào ngữ cảnh sử dụng.

Word embedding truyền thống không thể xử lý từ ngoài từ vựng (out-of-vocabulary words).