📚 Eksplorasi & Komparasi Topik Dokumen
Pencarian topik
Hasil Dokumen
Ditemukan: 3 dokumenPENGEMBANGAN SERIES2VEC UNTUK KLASIFIKASI DATA DERET WAKTU (STUDI KASUS: DETEKSI KETERLAMBATAN PEMBAYARAN PLN)
Klasifikasi deret waktu pada data operasional berskala besar menghadapi tantangan berupa pola temporal yang tidak konsisten antar instance, distribusi kelas yang sangat timpang, dominasi nilai nol (sparsity tinggi) yang dapat mendistorsi sinyal pembelajaran, serta adanya noise pada data. Pendekatan berbasis representasi selfsupervised seperti Series2Vec telah menunjukkan performa unggul pada dataset benchmark, namun penerapannya pada data operasional dengan karakteristik tersebut belum banyak dilakukan. Penelitian ini bertujuan menghasilkan model klasifikasi data deret waktu berbasis representasi Series2Vec dengan modifikasi fungsi kemiripan dan arsitektur. Evaluasi sistematis dilakukan dalam ruang desain 6×4 yang mencakup enam fungsi kemiripan temporal (SoftDTW, WDTW, ADTW, EDR, MSM, TWED) dan empat fungsi kemiripan frekuensi (Euclidean, Manhattan, Cosine, FC_H), pada dua konfigurasi window historis yaitu 12 bulan dan 24 bulan. Selain itu, dilakukan tiga eksperimen modifikasi arsitektur, yaitu penghapusan spatial encoder, penggantian DisjointCNN dengan encoder 4 block, dan frozen fine-tuning. Dataset terdiri dari 22.676 pelanggan PLN pascabayar dengan rasio ketidakseimbangan kelas 86,7%:13,3% dan tingkat sparsity sekitar 86,5%. Setiap konfigurasi dievaluasi melalui dua protokol yang saling melengkapi, yaitu linear probing untuk mengukur kualitas intrinsik representasi dan fine-tuning untuk mengukur potensi adaptasi supervised, dengan metrik utama Macro F1-score. Hasil eksperimen menunjukkan bahwa pemilihan fungsi kemiripan berpengaruh terhadap kualitas representasi yang dihasilkan Series2Vec. Pada protokol linear probing, konfigurasi terbaik adalah MSM+Cosine dengan Val Macro F1 sebesar 0,8947 pada window 12 bulan dan EDR+FC_H sebesar 0,8921 pada window 24 bulan, melampaui konfigurasi default SoftDTW+Euclidean masing-masing sebesar 0,0106 dan 0,0043. Setelah fine-tuning, WDTW+Cosine mencapai Val Macro F1 tertinggi sebesar 0,9084 pada window 12 bulan dan ADTW+FC_H sebesar 0,9084 pada window 24 bulan, melampaui seluruh baseline termasuk LSTM (0,9017 dan 0,9002) dan TS2Vec (0,9021 dan 0,8937). Pada eksperimen modifikasi arsitektur, penggantian DisjointCNN dengan encoder 4 block menghasilkan performa yang sebanding dengan selisih kurang dari 0,004 pada kedua window, sementara frozen fine-tuning menunjukkan penurunan performa yang konsisten. Kontribusi keilmuan penelitian ini adalah evaluasi sistematis ruang desain 6×4 fungsi kemiripan serta eksperimen modifikasi arsitektur encoder Series2Vec pada data operasional dengan karakteristik sparsity tinggi, noise, ketidaksejajaran temporal, dan ketidakseimbangan kelas yang ekstrem. Penelitian ini menunjukkan bahwa pemilihan fungsi kemiripan alternatif dapat meningkatkan performa klasifikasi pada data deret waktu operasional. Pada eksperimen modifikasi arsitektur, penggantian DisjointCNN dengan arsitektur encoder 4 block menghasilkan performa yang sebanding, sementara frozen fine-tuning yang membekukan bobot DisjointCNN dan hanya melatih classification head menunjukkan penurunan performa yang konsisten pada kedua window, mengindikasikan bahwa pelatihan ulang DisjointCNN secara end-to-end selama fase fine-tuning berperan penting dalam meningkatkan performa klasifikasi.
PENGEMBANGAN SISTEM SMART HOME BERBASIS COMPUTER VISION UNTUK ANALISIS TEMPORAL DAN PEMANTAUAN KEJADIAN BERISIKO MENGGUNAKAN VISION LANGUAGE MODEL
Rumah merupakan tempat yang diharap mampu memberikan rasa aman bagi penghuninya, tetapi berbagai data menunjukkan bahwa lingkungan rumah memiliki tingkat kerawanan yang cukup tinggi terhadap berbagai insiden, baik yang berasal dari faktor eksternal seperti tindak kriminalitas maupun faktor internal seperti insiden jatuh. Sebagai bentuk reaksi terhadap kondisi tersebut, penggunaan sistem Closed-Circuit Television (CCTV) pada lingkungan rumah semakin meningkat, tetapi dengan kenyataan bahwa sebagian besar sistem pemantauan konvensional masih bekerja secara pasif tanpa kemampuan interpretasi otomatis. Selain itu, sebagian besar pendekatan Computer Vision (CV) yang ada masih bersifat single-task sehingga setiap skenario kejadian membutuhkan model yang terpisah dan menyebabkan kompleksitas sistem yang tinggi. Keterbatasan integrasi antara proses analisis visual, penyimpanan data kejadian, pembuatan ringkasan, serta interaksi berbasis bahasa natural juga mengakibatkan sistem pemantauan yang tersedia saat ini belum mampu menyajikan informasi yang mudah dipahami oleh penggunanya. Penelitian ini bertujuan untuk merancang dan menghasilkan sistem smart home berbasis CV yang mampu menganalisis aliran video secara otomatis dan akurat untuk mendeteksi dan menginterpretasikan kejadian berisiko di lingkungan rumah, khususnya kejadian yang memerlukan pemahaman konteks dan kondisi temporal, serta menyajikan informasi tersebut dalam bentuk peringatan dini terhadap kondisi berisiko, ringkasan aktivitas harian, dan interaksi percakapan melalui dashboard berbasis web. Pengembangan sistem dilakukan menggunakan bahasa pemrograman Python dengan arsitektur berbasis Docker yang terbagi atas tiga subsistem utama. Subsistem persepsi menggunakan model Vision Language Model (VLM) Qwen3-VL, LLaVA:v1.6, dan LLaVA-Llama3 melalui Ollama untuk menganalisis aliran video Real Time Streaming Protocol (RTSP) dan menghasilkan keluaran JavaScript Object Notation (JSON) yang memuat jenis kejadian, visibilitas wajah, dan observasi kejadian. Subsistem ini juga menerapkan motion detection untuk mendukung validasi kejadian ABNORMAL_INACTIVITY berdasarkan tidak adanya pergerakan dalam periode waktu tertentu serta mengintegrasikan modul pengenalan wajah berbasis face recognition untuk identifikasi individu. Fokus implementasi dan pengujian penulis berada pada skenario deteksi api dan deteksi ketidakbergerakan abnormal, sedangkan skenario deteksi orang yang tidak dikenal dan deteksi orang jatuh diimplementasikan oleh anggota kelompok lain. Subsistem logika dan data mengelola penyimpanan log kejadian ke dalam database MySQL, menjalankan mekanisme hybrid routing yang terdiri atas jalur Structured Query Language (SQL), jalur konteks, dan mekanisme fallback untuk mendukung interaksi chatbot berbasis bahasa natural, serta menghasilkan ringkasan aktivitas harian secara otomatis menggunakan Large Language Model (LLM). Subsistem interaksi menyediakan antarmuka dashboard berbasis Gradio yang menampilkan live webcam, keluaran JSON, snapshot, informasi sistem, chatbot, dan ringkasan aktivitas harian, sekaligus mengirimkan notifikasi peringatan serta ringkasan kepada pengguna melalui platform Telegram. Hasil pengujian pada sistem menunjukkan bahwa Qwen3-VL sebagai model VLM utama yang terpilih menghasilkan performa terbaik dibandingkan LLaVA:v1.6 dan LLaVA-Llama3 dengan tingkat akurasi sebesar 93,3% dalam mendeteksi tiga skenario kejadian, yakni deteksi api, deteksi ketidakbergerakan abnormal, serta kondisi normal. Selain itu, model Qwen3-VL juga menghasilkan nilai False Positive Rate (FPR) sebesar 8,3% serta F1 score mencapai 0,9 pada pengujian klasifikasi kejadian menggunakan dataset yang sama. Pada subsistem logika dan data, Gemma 3 sebagai model LLM utama yang terpilih mampu mencapai akurasi chatbot sebesar 100% dengan konsistensi jawaban berbahasa Indonesia formal yang lebih baik dibandingkan model Llama 3. Hasil pengujian integrasi menunjukkan bahwa sistem berhasil dijalankan menggunakan satu perintah docker-compose up tanpa adanya kegagalan, termasuk dashboard yang tetap dapat diakses tanpa interupsi selama proses pembaruan layanan backend. Meskipun demikian, kecepatan pemrosesan lebih dari 10 Frames Per Second (FPS) belum dapat dicapai oleh ketiga model yang diuji serta target rata-rata delay kurang dari 10 detik hanya berhasil dipenuhi oleh model LLaVA:v1.6 yang disebabkan oleh besarnya beban komputasi inferensi multimodal pada perangkat lokal. Kondisi ini menunjukkan adanya trade-off antara kemampuan interpretasi visual berbasis konteks dan performa inferensi sistem. Kebaruan penelitian ini terletak pada integrasi VLM sebagai komponen persepsi multimodal yang berdiri sendiri dan mampu menangani berbagai skenario kejadian secara bersamaan, dikombinasikan dengan metode analisis temporal berbasis data riwayat kejadian, interaksi chatbot berbasis bahasa natural, dan deployment sistem terintegrasi berbasis kontainer yang mampu dijalankan hanya dengan satu perintah. Penelitian ini memberikan kontribusi berupa bukti bahwa pendekatan berbasis VLM berpotensi secara signifikan dalam meningkatkan kemampuan interpretasi visual pada sistem smart home dibandingkan pendekatan deteksi konvensional, sekaligus menyediakan platform pembelajaran praktis bagi peneliti dan pengembang di bidang CV dan Artificial Intelligence (AI).
PENGENALAN MICRO-EXPRESSION MENGGUNAKAN TRANSFER LEARNING DARI MACRO-EXPRESSION DENGAN PENDEKATAN SPASIAL-TEMPORAL
Pengenalan micro-expression merupakan tantangan dalam bidang computer vision akibat durasi ekspresi yang singkat, intensitas rendah, serta keterbatasan data pelatihan. Penelitian ini mengajukan sebuah kerangka kerja spasial-temporal berbasis transfer learning yang efektif untuk mengatasi masalah tersebut. Pendekatan yang diusulkan mengadaptasi dua model state-of-the-art (SOTA) dari domain macro-expression, yaitu DDAMFN++ dan POSTER++, untuk mengekstraksi fitur spasial. Selanjutnya, fitur spasial tersebut diintegrasikan dengan Temporal Convolutional Network (TCN) untuk menangkap dinamika temporal yang sangat penting dalam pengenalan micro-expression. Evaluasi kinerja model dilakukan dengan skema validasi Leave-One-Subject-Out (LOSO) serta cross-dataset validation pada tiga dataset benchmark, yaitu CASME 11, SAMM, dan SMIC. Hasil eksperimen menunjukkan bahwa pendekatan hibrida POSTER++ TCN berhasil mencapai performa terbaik dengan nilai Unweighted F 1-score (UFl) sebesar 90% dan Unweighted Average Recall (UAR) sebesar 90% pada dataset CASME 11 (3 kelas), secara signifikan mengungguli metode-metode baseline. Penelitian ini membuktikan bahwa kombinasi transfer learning dari model ekstraksi fitur spasial yang kuat dengan analisis temporal yang tepat dapat meningkatkan performa pengenalan micro-expression secara efektif.