1000+ câu Trắc nghiệm Nhập môn xử lý ngôn ngữ tự nhiên có đáp án - Phần 1

Chia văn bản thành các câu

Chia câu thành các cụm từ có nghĩa

Tìm gốc của từ

Loại bỏ các từ dừng

Part-of-speech tagging

Named entity recognition

Cosine similarity

Stemming

Xác định các thực thể có tên (named entities) như ‘Hà Nội’

Phân tích ý nghĩa của câu văn

Xây dựng cây cú pháp (parse tree) thể hiện cấu trúc ngữ pháp của câu

Đếm tần suất xuất hiện của các từ trong câu

Sử dụng một bộ từ điển cảm xúc lớn

Huấn luyện mô hình trên một tập dữ liệu lớn và đa dạng

Sử dụng các thuật toán stemming và lemmatization

Loại bỏ tất cả các stop words

Một phương pháp biểu diễn từ dưới dạng vector

Một chuỗi gồm n từ liên tiếp trong một văn bản

Một kỹ thuật để sửa lỗi chính tả

Một mô hình ngôn ngữ dựa trên mạng nơ-ron

Một kỹ thuật để giảm kích thước từ vựng

Một độ đo đánh giá khả năng dự đoán của mô hình ngôn ngữ

Một phương pháp để trích xuất các đặc trưng từ văn bản

Một thuật toán để sửa lỗi chính tả

Sử dụng mô hình lớn hơn

Áp dụng kỹ thuật transfer learning

Loại bỏ các stop words

Sử dụng stemming

Principal Component Analysis (PCA)

Singular Value Decomposition (SVD)

Linear Discriminant Analysis (LDA)

Part-of-speech tagging (POS tagging)

Phân tích phản hồi của khách hàng trên mạng xã hội

Tự động tạo nội dung quảng cáo

Dự đoán giá cổ phiếu

Cá nhân hóa trải nghiệm người dùng

Stemming

Lemmatization

Byte Pair Encoding (BPE)

TF-IDF

Stemming

Lemmatization

Loại bỏ stop words

Part-of-speech tagging

Quá trình xác định các từ có nghĩa giống nhau

Quá trình xác định các thực thể có tên trong văn bản

Quá trình xác định các từ hoặc cụm từ đề cập đến cùng một đối tượng trong văn bản

Quá trình phân tích cấu trúc ngữ pháp của một câu

Trích xuất thông tin từ văn bản

Phân tích quan điểm về sản phẩm

Phân loại văn bản theo chủ đề

Xây dựng tri thức đồ (Knowledge Graph)

Back-translation

Stemming

Lemmatization

Stop word removal

Loại bỏ các từ dừng (stop words) như ‘và’, ‘hoặc’

Chuyển đổi các từ về dạng gốc của chúng

Phân loại các từ theo loại từ (part-of-speech)

Sửa lỗi chính tả trong văn bản

Tỷ lệ các trường hợp được dự đoán đúng

Trung bình điều hòa của precision (độ chính xác) và recall (độ phủ)

Tỷ lệ các trường hợp được dự đoán sai

Diện tích dưới đường cong ROC

Tập trung vào các từ quan trọng nhất trong câu

Dịch văn bản sang ngôn ngữ khác

Tóm tắt nội dung của văn bản

Phân loại văn bản theo chủ đề

Phân tích cấu trúc ngữ pháp của một câu

Chuyển đổi văn bản từ một ngôn ngữ sang một ngôn ngữ khác một cách tự động

Tóm tắt nội dung của một văn bản dài

Nhận dạng các thực thể có tên trong văn bản

Dữ liệu ảnh

Dữ liệu âm thanh

Dữ liệu chuỗi (ví dụ: văn bản, chuỗi thời gian)

Dữ liệu bảng

Vanishing gradient (mất mát đạo hàm)

Thời gian huấn luyện quá lâu

Khả năng xử lý các chuỗi dài (long-range dependencies)

Sự thiếu hụt dữ liệu huấn luyện

Word embeddings dễ tính toán hơn

Word embeddings biểu diễn ngữ nghĩa của từ tốt hơn

Word embeddings không yêu cầu dữ liệu huấn luyện lớn

Word embeddings phù hợp hơn với các ngôn ngữ có cấu trúc phức tạp