BERT (Bidirectional Encoder Representations from Transformers) là một ví dụ về:

Mô hình ngôn ngữ dựa trên RNN.

Mô hình ngôn ngữ dựa trên Transformer được huấn luyện trước trên lượng lớn dữ liệu văn bản.

Thuật toán stemming.

Phương pháp biểu diễn văn bản bằng TF-IDF.