Cho một đoạn văn bản: ‘Hôm nay, trời rất đẹp. Tôi muốn đi dạo trong công viên.’ Sau khi thực hiện tokenization, kết quả sẽ là gì?

[‘Hôm nay trời rất đẹp Tôi muốn đi dạo trong công viên’]

[‘Hôm’, ‘nay’, ‘,’, ‘trời’, ‘rất’, ‘đẹp’, ‘.’, ‘Tôi’, ‘muốn’, ‘đi’, ‘dạo’, ‘trong’, ‘công’, ‘viên’, ‘.’]

[‘Hôm nay’, ‘trời’, ‘rất’, ‘đẹp’, ‘Tôi’, ‘muốn’, ‘đi’, ‘dạo’, ‘trong’, ‘công viên’]

[‘Hôm nay, trời rất đẹp.’, ‘Tôi muốn đi dạo trong công viên.’]