Trong quá trình huấn luyện mô hình ngôn ngữ, "Masked Language Modeling" (mô hình hóa ngôn ngữ che mặt nạ) là gì và nó được sử dụng trong mô hình nào nổi tiếng?

Một phương pháp huấn luyện mà trong đó mô hình được yêu cầu dự đoán các từ bị che ngẫu nhiên trong câu; được sử dụng trong BERT

Một phương pháp để tăng cường dữ liệu huấn luyện bằng cách tạo ra các biến thể của câu gốc

Một kỹ thuật để giảm thiểu overfitting bằng cách che giấu một số kết nối nơ-ron

Một phương pháp để đánh giá hiệu suất của mô hình ngôn ngữ bằng cách che giấu một phần văn bản và xem mô hình có thể khôi phục nó tốt đến đâu