BERT (Bidirectional Encoder Representations from Transformers) có đặc điểm nổi bật nào?

Chỉ có thể sinh văn bản, không thể hiểu văn bản.

Được huấn luyện theo hướng đơn (unidirectional).

Được huấn luyện theo hướng song song (bidirectional), xem xét ngữ cảnh cả trước và sau của từ.

Chỉ hoạt động tốt với tiếng Anh.