eprintid: 53405 rev_number: 16 eprint_status: archive userid: 23325 dir: disk0/00/05/34/05 datestamp: 2025-08-01 07:44:14 lastmod: 2025-08-01 07:44:14 status_changed: 2025-08-01 07:44:14 type: thesis metadata_visibility: show creators_name: ANGGRAINI, HARA creators_id: 3337210014 contributors_type: http://www.loc.gov/loc.terms/relators/THS contributors_type: http://www.loc.gov/loc.terms/relators/THS contributors_name: Krisdianto, Nanang contributors_name: Habibie Sukarna, Royan contributors_id: 197504092006041004 contributors_id: 199204222022031006 corp_creators: UNIVERSITAS SULTAN AGENG TIRTAYASA corp_creators: FAKULTAS TEKNIK corp_creators: JURUSAN INFORMATIKA title: PENGEMBANGAN MODEL CONVOLUTIONAL NEURAL NETWORK DAN SEQUENCE-TO-SEQUENCE UNTUK PENERJEMAH BAHASA ISYARAT SIBI DUA ARAH ispublished: pub subjects: QA75 subjects: T1 divisions: FT divisions: TKI full_text_status: restricted note: Penyandang tunarungu dan tunawicara sering menghadapi hambatan komunikasi karena sebagian besar masyarakat belum memahami bahasa isyarat. Salah satu sistem bahasa isyarat resmi di Indonesia adalah Sistem Isyarat Bahasa Indonesia (SIBI). Penelitian ini mengembangkan dua model machine learning untuk membangun sistem penerjemah bahasa isyarat dua arah. Model pertama menggunakan arsitektur Convolutional Neural Network (CNN) untuk mengenali gambar gestur huruf SIBI dan menerjemahkannya ke dalam teks. Model kedua menggunakan pendekatan Sequence-to-Sequence (Seq2seq) berbasis Long Short-Term Memory (LSTM) untuk menerjemahkan kalimat bahasa Indonesia menjadi urutan gesture, yang divisualisasikan melalui penyusunan video gerakan per kata. Dataset yang digunakan mencakup gambar statis huruf-huruf SIBI dan pasangan kalimat teks dengan video gesture tiap kata. Evaluasi model CNN dilakukan menggunakan data uji manual (eksternal) dan menghasilkan akurasi sebesar 94,96%. Sementara itu, model Seq2seq dievaluasi menggunakan Bleu Score dengan rata-rata 0,9854, yang menunjukkan tingkat kesesuaian tinggi antara output model dan referensi. Proses inferensi dilengkapi dengan koreksi input menggunakan RapidFuzz dan antarmuka interaktif berbasis ipywidgets, yang memudahkan pengguna dalam mengoperasikan sistem. Hasil penelitian menunjukkan bahwa kombinasi model CNN dan Seq2seq efektif dalam membangun prototipe sistem penerjemah bahasa isyarat dua arah berbasis data, dengan potensi besar untuk diterapkan dalam konteks pendidikan, komunikasi inklusif, dan teknologi asistif. abstract: Individuals with hearing and speech impairments often face communication barriers due to the general public’s limited understanding of sign language. One of the official sign language systems in Indonesia is the Sistem Isyarat Bahasa Indonesia (SIBI). This research develops two machine learning models to build a bidirectional sign language translation system. The first model utilizes a Convolutional Neural Network (CNN) to recognize static hand gesture images representing SIBI letters and convert them into text. The second model applies a Sequence-to-Sequence (Seq2seq) approach based on Long Short-Term Memory (LSTM) to translate Indonesian sentences into gesture sequences, which are then visualized through concatenated gesture video clips. The dataset consists of static images of SIBI letters and paired sentence–gesture video data. The CNN model was evaluated using manually collected external test data and achieved an accuracy of 94.96%. Meanwhile, the Seq2seq model obtained an average Bleu Score of 0.9854, indicating a high level of similarity between the predicted output and reference gestures. The inference process is supported by automatic text correction using RapidFuzz and an interactive user interface built with ipywidgets, enhancing the usability of the system. The results demonstrate that the integration of CNN and Seq2seq models is effective in developing a prototype of a data-driven bidirectional sign language translator system, which has great potential for application in inclusive communication and education contexts. date: 2025-08-01 date_type: published pages: 104 institution: Fakultas Teknik Universitas Sultan Ageng Tirtayasa department: Informatika thesis_type: sarjana thesis_name: sarjana citation: ANGGRAINI, HARA (2025) PENGEMBANGAN MODEL CONVOLUTIONAL NEURAL NETWORK DAN SEQUENCE-TO-SEQUENCE UNTUK PENERJEMAH BAHASA ISYARAT SIBI DUA ARAH. S1 thesis, Fakultas Teknik Universitas Sultan Ageng Tirtayasa. document_url: https://eprints.untirta.ac.id/53405/1/Hara%20Anggraini_3337210014_Fulltext.pdf document_url: https://eprints.untirta.ac.id/53405/2/Hara%20Anggraini_3337210014_01.pdf document_url: https://eprints.untirta.ac.id/53405/3/Hara%20Anggraini_3337210014_02.pdf document_url: https://eprints.untirta.ac.id/53405/4/Hara%20Anggraini_3337210014_03.pdf document_url: https://eprints.untirta.ac.id/53405/5/Hara%20Anggraini_3337210014_04.pdf document_url: https://eprints.untirta.ac.id/53405/6/Hara%20Anggraini_3337210014_05.pdf document_url: https://eprints.untirta.ac.id/53405/7/Hara%20Anggraini_3337210014_Ref.pdf document_url: https://eprints.untirta.ac.id/53405/8/Hara%20Anggraini_3337210014_Lamp.pdf document_url: https://eprints.untirta.ac.id/53405/9/Hara%20Anggraini_3337210014_CP.pdf