Fine-tuning (tinh chỉnh) mô hình ngôn ngữ pre-trained là quá trình:

Huấn luyện lại toàn bộ mô hình từ đầu trên dữ liệu của tác vụ cụ thể.

Tiếp tục huấn luyện mô hình pre-trained trên một tập dữ liệu nhỏ hơn, đặc trưng cho tác vụ cụ thể, để mô hình thích nghi tốt hơn với tác vụ đó.

Giảm kích thước mô hình pre-trained để tăng tốc độ suy luận.

Thay đổi kiến trúc mạng nơ-ron của mô hình pre-trained.