"Contextual word embeddings" (word embeddings theo ngữ cảnh), như ELMo và BERT, khác biệt so với "static word embeddings" (word embeddings tĩnh), như Word2Vec và GloVe, như thế nào?

Static word embeddings có kích thước cố định, trong khi contextual word embeddings thay đổi kích thước tùy theo ngữ cảnh

Contextual word embeddings tạo ra các biểu diễn khác nhau cho cùng một từ dựa trên ngữ cảnh xuất hiện của nó trong câu, trong khi static word embeddings tạo ra một biểu diễn duy nhất cho mỗi từ

Static word embeddings được huấn luyện trên dữ liệu lớn hơn contextual word embeddings

Contextual word embeddings chỉ phù hợp với các ngôn ngữ có ngữ pháp phức tạp