Trong thuật toán Hồi quy Tuyến tính (Linear Regression), mục tiêu là tìm ra các hệ số (coefficients) sao cho:

Tối đa hóa sai số giữa giá trị dự đoán và giá trị thực tế

Tối thiểu hóa sai số (ví dụ: tổng bình phương sai số – Sum of Squared Errors) giữa giá trị dự đoán và giá trị thực tế

Tối thiểu hóa số lượng đặc trưng được sử dụng

Tối đa hóa số lượng điểm dữ liệu nằm trên đường hồi quy