Contextual word embeddings (biểu diễn từ theo ngữ cảnh) như BERT khác biệt so với word embeddings tĩnh (ví dụ Word2Vec) như thế nào?

Contextual word embeddings có kích thước vector nhỏ hơn.

Contextual word embeddings tạo ra biểu diễn vector khác nhau cho cùng một từ tùy thuộc vào ngữ cảnh sử dụng của nó trong câu, trong khi word embeddings tĩnh luôn cho ra một vector duy nhất cho mỗi từ.

Word embeddings tĩnh có thể nắm bắt ngữ cảnh tốt hơn.

Contextual word embeddings dễ huấn luyện hơn.