"Contextual word embeddings" (ví dụ: BERT, ELMo) khác biệt so với "static word embeddings" (ví dụ: Word2Vec, GloVe) như thế nào?

Contextual embeddings có kích thước vectơ cố định, static embeddings thì thay đổi.

Static embeddings учитывают ngữ cảnh của từ, contextual embeddings thì không.

Contextual embeddings tạo ra biểu diễn khác nhau cho cùng một từ tùy thuộc vào ngữ cảnh sử dụng, static embeddings thì tạo ra biểu diễn cố định.

Static embeddings yêu cầu lượng dữ liệu huấn luyện lớn hơn contextual embeddings.