Xây dựng ứng dụng chuyển đổi ngôn ngữ tiếng việt sang ngôn ngữ kí hiệu

Abstract

Đề án trình bày việc xây dựng ứng dụng chuyển đổi ngôn ngữ Tiếng Việt sang ngôn ngữ kí hiệu (NoSign) - công cụ chuyển đổi văn bản tiếng Việt sang ngôn ngữ kí hiệu Việt Nam (Vietnamese Sign Language - VSL). Hệ thống sử dụng dữ liệu Pose Estimation từ mô hình RTMPose Wholebody [1] (133 keypoints) được trích xuất từ video ngôn ngữ kí hiệu, lưu trữ dưới dạng file NPZ compact [7]. Ứng dụng bao gồm: (1) Backend Flask [5] xử lý chuyển đổi văn bản tiếng Việt sang chuỗi từ kí hiệu bằng thuật toán greedy longest match kết hợp synonym mapping; (2) Frontend Flutter [4] Desktop với hai chế độ hiển thị - Skeleton Viewer (khung xương stylized 2.5D) và Mesh Viewer (mô hình lưới 3D skinned). Bộ từ điển bao gồm 4.362 từ/cụm từ với dữ liệu landmark tương ứng. Kết quả cho thấy hệ thống có khả năng chuyển đổi các câu tiếng Việt phổ biến sang hoạt ảnh ngôn ngữ kí hiệu với chất lượng chấp nhận được