Xây dựng hệ thống tự động phân loại văn bản tiếng Lào

Abstract

Hiện nay, công trình nghiên cứu phân loại văn bản tiếng Lào còn hạn chế, chủ yếu dựa trên máy vector hỗ trợ và mạng hàm bán kính xuyên tâm cơ sở. Phương pháp tách từ, trong các công trình nghiên cứu nói trên, hầu hết vẫn tồn tại vấn đề về việc xử lý nhập nhằng của tiếng Lào. Vì tiếng Lào có nhiều cách viết, cách nói và sử dụng từ không thống nhất, đặc biệt là đặc trưng của tiếng Lào không có dấu cách giữa các từ, do đó việc tách từ tiếng Lào sẽ rất khó khăn. Để khắc phục những hạn chế, tác giả đề xuất đề tài: “Xây dựng hệ thống tự động phân loại văn bản tiếng Lào” bằng cách biểu diễn văn bản thành vector các từ khóa, áp dụng Regular Expression kết hợp với khuôn mẫu từ đơn để tách từ đơn, ghép lại những từ đơn thành từ phức có từ dài nhất dựa trên tập từ phức, đồng thời sử dụng phương pháp Naïve Bayes để phân loại văn bản tiếng Lào.