📚 Eksplorasi & Komparasi Topik Dokumen

PENGEMBANGAN MODEL TRANSFORMER DAN N-GRAM UNTUK PENGENALAN BAHASA ISYARAT INDONESIA BERKELANJUTAN BERBASIS POSE

Pengenalan Bahasa Isyarat Indonesia, khususnya Sistem Isyarat Bahasa Indonesia (SIBI), pada tingkat kalimat masih terhambat oleh keterbatasan dataset kontinu yang merepresentasikan kondisi visual dunia nyata serta oleh dekoding berbasis Connectionist Temporal Classification (CTC) yang tidak memodelkan ketergantungan linguistik antar-gloss. Penelitian ini membangun dataset SIBI kontinu tingkat kalimat (Cicendo) dengan variasi latar belakang dan mengimplementasikan arsitektur Transformer berbasis pose yang dilatih dengan CTC untuk tugas Sign-to-Gloss. Masukan model berupa fitur pose 177 dimensi per frame hasil ekstraksi keypoints MediaPipe, bukan piksel mentah. Sebagai kontribusi utama, tahap dekoding ditambahkan komponen linguistik berupa rescoring trigram n-gram language model atas daftar N-best hasil beam search—sebuah teknik yang diadaptasi dari bidang Automatic Speech Recognition—tanpa melatih ulang jaringan visual. Evaluasi dilakukan secara signer-independent pada tiga dataset: Cicendo, SIBI Darmawan, dan PHOENIX- 2014T. Model usulan secara konsisten mencapai Word Error Rate (WER) terendah, yaitu 2,33% pada Cicendo, 0,97% pada SIBI Darmawan, dan 54,91% pada PHOENIX-2014T. Rescoring language model terbukti menurunkan WER pada setiap pengujian, dengan penurunan relatif terhadap beam search mencapai 61,0% pada Cicendo dan 49,1% pada SIBI Darmawan, namun hanya 3,6% pada PHOENIX-2014T yang berkosakata besar. Analisis kesalahan mengungkap bahwa rendahnya WER pada kedua dataset SIBI sebagian disebabkan keterbatasan variasi kalimat sehingga model cenderung menghafal pola kalimat, sedangkan PHOENIX-2014T memperlihatkan pengenalan per-gloss yang sesungguhnya. Hasil ini menunjukkan efektivitas integrasi n-gram language model pada dekoding CTC Transformer berbasis pose sekaligus arah perbaikan berupa pengayaan variasi kalimat dataset SIBI.