1000+ câu Trắc nghiệm Nhập môn xử lý ngôn ngữ tự nhiên có đáp án - Phần 1

Biểu diễn mối quan hệ giữa các thực thể và khái niệm

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt nội dung của văn bản

Phân loại văn bản theo chủ đề

Xử lý các từ viết tắt

Xử lý các từ đồng nghĩa

Tách từ (word segmentation)

Nhận dạng thực thể có tên

Term Frequency – Inverse Document Frequency

Text Frequency – Inverse Document Format

Term Frequency – Integrated Data Frequency

Text Format – Inverse Document Frequency

Độ chính xác của việc dự đoán từ tiếp theo

Mức độ tương đồng giữa văn bản được sinh ra và văn bản tham khảo

Khả năng khái quát hóa của mô hình trên dữ liệu mới

Thời gian cần thiết để mô hình sinh ra một câu

Mô hình hóa chủ đề (Topic Modeling)

Phân tích cú pháp (Parsing)

Biểu diễn word embedding (Word embedding)

Phân tích quan điểm (Sentiment Analysis)

Phân tích cảm xúc của khách hàng về một sản phẩm

Tự động tóm tắt hồ sơ bệnh án

Dịch tự động các bài báo khoa học

Tạo chatbot để trả lời các câu hỏi thường gặp

Tạo ra các câu trả lời tự động

Xác định mục đích hoặc mong muốn của người dùng dựa trên câu hỏi của họ

Chuyển đổi văn bản thành giọng nói

Lưu trữ lịch sử trò chuyện

Tìm ra gốc của một từ (word stem)

Xác định ý nghĩa chính xác của một từ trong ngữ cảnh cụ thể

Phân loại các từ theo loại từ (part-of-speech)

Dịch một từ sang ngôn ngữ khác

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt nội dung chính của một văn bản

Phân loại văn bản theo chủ đề

Tìm ra các chủ đề tiềm ẩn trong một tập hợp các văn bản

Chia văn bản thành các câu

Chia câu thành các cụm từ có nghĩa

Tìm gốc của từ

Loại bỏ các từ dừng

Part-of-speech tagging

Named entity recognition

Cosine similarity

Stemming

Xác định các thực thể có tên (named entities) như ‘Hà Nội’

Phân tích ý nghĩa của câu văn

Xây dựng cây cú pháp (parse tree) thể hiện cấu trúc ngữ pháp của câu

Đếm tần suất xuất hiện của các từ trong câu

Sử dụng một bộ từ điển cảm xúc lớn

Huấn luyện mô hình trên một tập dữ liệu lớn và đa dạng

Sử dụng các thuật toán stemming và lemmatization

Loại bỏ tất cả các stop words

Một phương pháp biểu diễn từ dưới dạng vector

Một chuỗi gồm n từ liên tiếp trong một văn bản

Một kỹ thuật để sửa lỗi chính tả

Một mô hình ngôn ngữ dựa trên mạng nơ-ron

Một kỹ thuật để giảm kích thước từ vựng

Một độ đo đánh giá khả năng dự đoán của mô hình ngôn ngữ

Một phương pháp để trích xuất các đặc trưng từ văn bản

Một thuật toán để sửa lỗi chính tả

Sử dụng mô hình lớn hơn

Áp dụng kỹ thuật transfer learning

Loại bỏ các stop words

Sử dụng stemming

Principal Component Analysis (PCA)

Singular Value Decomposition (SVD)

Linear Discriminant Analysis (LDA)

Part-of-speech tagging (POS tagging)

Phân tích phản hồi của khách hàng trên mạng xã hội

Tự động tạo nội dung quảng cáo

Dự đoán giá cổ phiếu

Cá nhân hóa trải nghiệm người dùng

Stemming

Lemmatization

Byte Pair Encoding (BPE)

TF-IDF

Stemming

Lemmatization

Loại bỏ stop words

Part-of-speech tagging

Quá trình xác định các từ có nghĩa giống nhau

Quá trình xác định các thực thể có tên trong văn bản

Quá trình xác định các từ hoặc cụm từ đề cập đến cùng một đối tượng trong văn bản

Quá trình phân tích cấu trúc ngữ pháp của một câu

Trích xuất thông tin từ văn bản

Phân tích quan điểm về sản phẩm

Phân loại văn bản theo chủ đề

Xây dựng tri thức đồ (Knowledge Graph)

Back-translation

Stemming

Lemmatization

Stop word removal

Loại bỏ các từ dừng (stop words) như ‘và’, ‘hoặc’

Chuyển đổi các từ về dạng gốc của chúng

Phân loại các từ theo loại từ (part-of-speech)

Sửa lỗi chính tả trong văn bản

Tỷ lệ các trường hợp được dự đoán đúng

Trung bình điều hòa của precision (độ chính xác) và recall (độ phủ)

Tỷ lệ các trường hợp được dự đoán sai

Diện tích dưới đường cong ROC

Tập trung vào các từ quan trọng nhất trong câu

Dịch văn bản sang ngôn ngữ khác

Tóm tắt nội dung của văn bản

Phân loại văn bản theo chủ đề

Phân tích cấu trúc ngữ pháp của một câu

Chuyển đổi văn bản từ một ngôn ngữ sang một ngôn ngữ khác một cách tự động

Tóm tắt nội dung của một văn bản dài

Nhận dạng các thực thể có tên trong văn bản

Dữ liệu ảnh

Dữ liệu âm thanh

Dữ liệu chuỗi (ví dụ: văn bản, chuỗi thời gian)

Dữ liệu bảng

Vanishing gradient (mất mát đạo hàm)

Thời gian huấn luyện quá lâu

Khả năng xử lý các chuỗi dài (long-range dependencies)

Sự thiếu hụt dữ liệu huấn luyện

Word embeddings dễ tính toán hơn

Word embeddings biểu diễn ngữ nghĩa của từ tốt hơn

Word embeddings không yêu cầu dữ liệu huấn luyện lớn

Word embeddings phù hợp hơn với các ngôn ngữ có cấu trúc phức tạp