Mô hình BERT (Bidirectional Encoder Representations from Transformers) cải tiến so với các mô hình ngôn ngữ trước đó như thế nào?

Chỉ có thể xử lý văn bản tiếng Anh

Huấn luyện trên dữ liệu nhỏ hơn

Sử dụng kiến trúc Transformer và huấn luyện theo cả hai hướng (trái và phải) của câu

Không cần dữ liệu huấn luyện