%X This study aims to develop a mobile application capable of translating Indonesian Sign System (SIBI) into Indonesian text and vice versa. The application was built using Flutter for the mobile interface, and FastAPI and WebSocket as the backend to support real-time translation services. The Machine Learning models used include a Convolutional Neural Network (CNN) for gesture recognition and a Sequence-to-Sequence (Seq2Seq) model for converting text into sign language gesture videos.
The system was evaluated through Black Box Testing and model performance analysis using a Confusion Matrix. The results show that the CNN model achieved an overall accuracy of 83.33% in recognizing sign gestures, with an average response time of 1.8 seconds. Additionally, the text-to-sign feature demonstrated a 100% success rate for basic vocabulary translation.
This study demonstrates the potential of integrating AI into mobile systems to provide inclusive and real-time communication tools for the deaf community and opens opportunities for further development in accessible technology.
%I Fakultas Teknik Universitas Sultan Ageng Tirtayasa
%A HAFIZ IBRAHIM
%O Penelitian ini bertujuan untuk mengembangkan aplikasi mobile yang mampu menerjemahkan bahasa isyarat Sistem Isyarat Bahasa Indonesia (SIBI) ke dalam teks bahasa Indonesia, dan sebaliknya. Aplikasi dikembangkan menggunakan Flutter untuk antarmuka mobile, serta FastAPI dan WebSocket sebagai backend untuk layanan penerjemahan secara real-time. Model Machine Learning yang digunakan adalah Convolutional Neural Network (CNN) untuk pengenalan gesture huruf, dan Sequence-to-Sequence (Seq2Seq) untuk konversi teks ke dalam bentuk video gerakan bahasa isyarat.
Pengujian dilakukan dengan metode Black Box Testing dan evaluasi model menggunakan Confusion Matrix. Hasil pengujian menunjukkan bahwa sistem mampu mengenali gesture huruf dengan akurasi keseluruhan sebesar 83.33%, dengan waktu respons rata-rata sebesar 1.8 detik. Sementara itu, fitur konversi teks ke video gerakan berhasil diterjemahkan dengan tingkat keberhasilan 100% pada kosakata dasar.
Penelitian ini menunjukkan bahwa integrasi AI dalam sistem mobile dapat memberikan solusi inklusif dan real-time bagi komunikasi penyandang tunarungu, serta membuka potensi pengembangan lebih lanjut untuk mendukung aksesibilitas teknologi.
%D 2025
%L eprintuntirta53390
%T IMPLEMENTASI MODEL MACHINE LEARNING UNTUK APLIKASI PENERJEMAH BAHASA ISYARAT BERBASIS MOBILE MENGGUNAKAN METODE WATERFALL