Pre-training (huấn luyện trước) mô hình ngôn ngữ trên lượng lớn văn bản không nhãn mang lại lợi ích gì trong NLP?

Giảm kích thước mô hình.

Giúp mô hình học được biểu diễn ngôn ngữ chung, có thể được tinh chỉnh (fine-tune) cho nhiều tác vụ cụ thể với ít dữ liệu hơn.

Tăng tốc độ suy luận của mô hình.

Loại bỏ nhu cầu tinh chỉnh mô hình cho các tác vụ cụ thể.