1000+ câu Trắc nghiệm Nhập môn xử lý ngôn ngữ tự nhiên có đáp án - Phần 19

Lemmatization (Lema hóa)

Tokenization (Mã hóa)

Stemming (Gốc từ)

Parsing (Phân tích cú pháp)

Duy trì thứ tự từ và ngữ pháp

Mã hóa ngữ nghĩa của từ

Đếm tần suất xuất hiện của từ trong văn bản

Sử dụng mạng nơ-ron để biểu diễn từ

Đánh giá tầm quan trọng của một từ trong tài liệu so với toàn bộ tập hợp tài liệu

Phân tích cảm xúc của văn bản

Phát hiện ngôn ngữ của văn bản

Tóm tắt văn bản dài thành văn bản ngắn hơn

Yêu cầu ít bộ nhớ hơn để lưu trữ

Tính toán nhanh hơn

Dễ dàng diễn giải hơn

Nắm bắt được ngữ nghĩa và quan hệ giữa các từ

Transformer

Naive Bayes

LSTM

BERT

Phân loại hình ảnh

Phát hiện đối tượng trong ảnh

Xử lý dữ liệu chuỗi tuần tự như dịch máy và phân tích văn bản

Phân tích dữ liệu dạng bảng

Tăng tốc độ huấn luyện mô hình

Giảm thiểu overfitting

Cải thiện khả năng song song hóa tính toán

Cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào, khắc phục vấn đề "quên" thông tin ở xa

Self-attention (Tự chú ý)

Convolutional Neural Network (Mạng nơ-ron tích chập)

Recurrent Neural Network (Mạng nơ-ron hồi quy)

Generative Adversarial Network (Mạng đối nghịch sinh tạo)

Phân tích cảm xúc của văn bản

Xác định và phân loại các thực thể có tên như người, tổ chức, địa điểm trong văn bản

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt nội dung chính của văn bản

Xác định chủ đề chính của văn bản

Phát hiện ngôn ngữ của văn bản

Xác định thái độ, cảm xúc hoặc quan điểm được thể hiện trong văn bản

Trích xuất thông tin có cấu trúc từ văn bản

Một độ đo để đánh giá chất lượng của bản dịch máy bằng cách so sánh nó với bản dịch tham khảo

Một thuật toán dịch máy dựa trên mạng nơ-ron

Một phương pháp tiền xử lý văn bản cho dịch máy

Một loại mô hình ngôn ngữ được sử dụng trong dịch máy

Stemming phức tạp hơn Lemmatization

Stemming loại bỏ hậu tố một cách đơn giản, có thể tạo ra từ không có nghĩa, trong khi Lemmatization đưa từ về dạng gốc có nghĩa dựa trên từ điển và ngữ pháp

Lemmatization nhanh hơn Stemming

Stemming chỉ áp dụng cho tiếng Anh, còn Lemmatization áp dụng cho nhiều ngôn ngữ

Tăng cường ngữ nghĩa của văn bản

Phát hiện ngôn ngữ của văn bản

Giảm kích thước dữ liệu và tập trung vào các từ quan trọng hơn

Cải thiện độ chính xác của phân tích cú pháp

Xử lý hình ảnh đầu vào từ camera

Điều khiển phần cứng của thiết bị

Tạo đồ họa giao diện người dùng

Hiểu ngôn ngữ tự nhiên của người dùng và tạo ra phản hồi phù hợp

Thu thập dữ liệu -> Tiền xử lý văn bản -> Trích xuất đặc trưng -> Huấn luyện mô hình -> Đánh giá mô hình

Huấn luyện mô hình -> Thu thập dữ liệu -> Tiền xử lý văn bản -> Đánh giá mô hình -> Trích xuất đặc trưng

Trích xuất đặc trưng -> Thu thập dữ liệu -> Huấn luyện mô hình -> Tiền xử lý văn bản -> Đánh giá mô hình

Đánh giá mô hình -> Huấn luyện mô hình -> Trích xuất đặc trưng -> Tiền xử lý văn bản -> Thu thập dữ liệu

Nhận dạng thực thể có tên (NER)

Phân tích cảm xúc (Sentiment Analysis)

Dịch máy (Machine Translation)

Tóm tắt văn bản (Text Summarization)

Đo độ chính xác của mô hình

Đo tốc độ huấn luyện của mô hình

Đo khả năng dự đoán chuỗi từ tiếp theo của mô hình ngôn ngữ; perplexity càng thấp, mô hình càng tốt

Đo kích thước của mô hình ngôn ngữ

Đánh giá chất lượng của bản dịch

Tăng tốc độ dịch

Giảm kích thước mô hình dịch

Tăng cường dữ liệu huấn luyện bằng cách dịch ngược văn bản đơn ngữ sang ngôn ngữ khác rồi dịch lại về ngôn ngữ gốc

Đơn giản hóa quá trình tiền xử lý dữ liệu

Tận dụng kiến thức ngôn ngữ đã học từ lượng lớn dữ liệu, giúp cải thiện hiệu suất và giảm nhu cầu dữ liệu huấn luyện cho các nhiệm vụ cụ thể

Giảm độ phức tạp tính toán khi huấn luyện mô hình

Cải thiện khả năng diễn giải của mô hình

Constituency parsing tập trung vào quan hệ giữa các từ, còn dependency parsing tập trung vào cấu trúc ngữ pháp

Dependency parsing phức tạp hơn constituency parsing

Dependency parsing biểu diễn cấu trúc câu dựa trên quan hệ phụ thuộc giữa các từ, còn constituency parsing phân chia câu thành các cụm từ và thành phần ngữ pháp

Constituency parsing chỉ áp dụng cho tiếng Anh, còn dependency parsing áp dụng cho nhiều ngôn ngữ

NLTK

SpaCy

Transformers

Underscore (underthesea)

Mô hình có khả năng thực hiện các nhiệm vụ mà nó chưa từng được huấn luyện trực tiếp, chỉ dựa trên mô tả bằng ngôn ngữ tự nhiên của nhiệm vụ

Mô hình được huấn luyện trên dữ liệu tổng hợp

Mô hình có thể học từ rất ít dữ liệu huấn luyện

Mô hình có thể tự động cải thiện hiệu suất mà không cần con người can thiệp

Giảm kích thước mô hình NLP

Huấn luyện mô hình ngôn ngữ trên nhiều thiết bị hoặc tổ chức mà không cần chia sẻ dữ liệu thô, bảo vệ quyền riêng tư của người dùng

Tăng tốc độ huấn luyện mô hình NLP

Cải thiện khả năng diễn giải của mô hình NLP

Stemming

Lemmatization

Byte-Pair Encoding (BPE) hoặc WordPiece tokenization

Stop word removal

Phân tích cảm xúc của người dùng

Xác định ngôn ngữ người dùng đang sử dụng

Nhận dạng thực thể có tên trong câu hỏi của người dùng

Xác định mục đích hoặc ý định của người dùng đằng sau câu nói của họ

Sử dụng mô hình đã được huấn luyện trên một lượng lớn dữ liệu (ví dụ, mô hình ngôn ngữ pre-trained) và tinh chỉnh (fine-tune) nó cho một nhiệm vụ NLP cụ thể với dữ liệu nhỏ hơn

Chuyển dữ liệu huấn luyện từ miền này sang miền khác

Chuyển kiến trúc mô hình từ nhiệm vụ này sang nhiệm vụ khác

Chuyển giao kết quả đánh giá mô hình giữa các nhà nghiên cứu

Perplexity

Accuracy, F1-score, Exact Match

BLEU score

ROUGE score

Phân loại văn bản

Phân tích cảm xúc

Tóm tắt văn bản (Text Summarization)

Dịch máy (Machine Translation)

Phân tích cú pháp của văn bản

Biểu diễn văn bản dưới dạng vectơ

Tạo ra văn bản mới

Biểu diễn tri thức dưới dạng đồ thị, với các nút là thực thể và các cạnh là quan hệ giữa chúng, hỗ trợ suy luận và trả lời câu hỏi

Trợ lý ảo (Virtual assistants)

Dịch máy (Machine translation)

Nhận dạng khuôn mặt (Facial recognition)

Phân tích cảm xúc trên mạng xã hội (Social media sentiment analysis)