📚 Eksplorasi & Komparasi Topik Dokumen
Pencarian topik
Hasil Dokumen
Ditemukan: 3 dokumenPENGEMBANGAN SISTEM TEST CASE GENERATION BERBASIS RETRIEVAL-AUGMENTED GENERATIONUNTUK PENGUJIAN PERANGKAT LUNAK (STUDI KASUS: BLUETOOTH)
Pengujian perangkat lunak merupakan elemen fundamental dalam rekayasa perangkat lunak yang dapat mencakup hingga 80% dari total anggaran proyek untuk mengurangi risiko terkait kompleksitas sistem yang tinggi. Pendekatan Test-Driven Development (TDD) terbukti mampu menurunkan cacat produk, tetapi metodologi ini memerlukan waktu dan usaha yang besar dalam penulisan test case di tahap awal pengembangan. Berbagai metode otomatisasi telah dikembangkan, namun sebagian besar masih membutuhkan kode program sebagai masukan. Oleh karena itu, terdapat kebutuhan akan pendekatan otomatis yang mampu menggunakan dokumen kebutuhan sebagai masukan untuk menghasilkan skenario pengujian yang komprehensif. Kami mengembangkan sistem Retrieval-Augmented Generation (RAG) untuk menghasilkan test purpose dan test case ID secara otomatis dari dokumen spesifikasi kebutuhan Bluetooth. Kami menemukan bahwa sistem ini menghasilkan test purpose dengan nilai rubrik antara 2,72 hingga 3,18 (skala 1-5), serta mencapai nilai faithfulness rata-rata hingga 0,87 pada pasangan test purpose. Selain itu, test case ID yang dihasilkan menunjukkan tingkat kemiripan melebihi 0,9 terhadap test suite Bluetooth, meskipun tantangan dalam memproses data visual dan tabel masih ditemukan. Hasil menunjukkan bahwa LLM dapat menjembatani kesenjangan antara dokumen spesifikasi kebutuhan dan artefak pengujian untuk mendukung proses TDD. Pendekatan ini dapat menjadi landasan bagi pengembangan sistem multimodal di masa depan yang mampu menafsirkan spesifikasi teknis kompleks guna mempercepat siklus peluncuran produk perangkat lunak.
PENGEMBANGAN AGEN CHATBOT LLM UNTUK REKAYASA KEBUTUHAN BERBASIS USER STORY
Rekayasa kebutuhan merupakan tahap awal yang krusial dalam pengembangan perangkat lunak karena bertujuan untuk memahami dan merumuskan kebutuhan pengguna menjadi spesifikasi yang dapat diimplementasikan. Dalam praktik agile, kebutuhan sering dituangkan dalam bentuk user story yang ringkas, tetapi format ini kerap menimbulkan tantangan seperti ambiguitas, miskomunikasi, dan kurangnya dokumentasi terstruktur. Di sisi lain, kemajuan dalam Large Language Models (LLM) menunjukkan potensi dalam mendukung proses elisitasi kebutuhan melalui interaksi berbasis percakapan. Namun, penggunaan LLM tanpa konteks proyek yang kuat seringkali menghasilkan respons yang tidak relevan Penelitian ini mengusulkan pengembangan agen chatbot berbasis LLM dengan pendekatan Retrieval-Augmented Generation (RAG) untuk mengatasi keterbatasan tersebut. Sistem dirancang agar pengguna dapat mengunggah dokumen proyek seperti PRD, dokumen proses bisnis, hasil wawancara, dan laporan teknis, yang kemudian diindeks dan diringkas untuk membentuk knowledge base proyek. Dalam proses interaksi, sistem memanfaatkan pengetahuan kontekstual ini untuk mem- bantu pengguna menyusun user story yang sesuai dengan prinsip INVEST (Independent, Negotiable, Valuable, Estimable, Small, Testable). Sistem juga mampu secara dinamis melakukan retrieval terhadap informasi relevan dari dokumen jika diperlukan, sehingga setiap interaksi menjadi lebih relevan dan adaptif terhadap konteks proyek. Evaluasi dilakukan dengan membandingkan kualitas user story yang dihasilkan oleh chatbot RAG dan non-RAG melalui uji pengguna dan analisis statistik. Hasil menunjukkan bahwa pendekatan RAG secara signifikan meningkatkan kualitas, relevansi, dan kelengkapan user story yang dihasilkan. Selain itu, pengguna melaporkan pengalaman interaksi yang lebih efisien dan kontekstual. Temuan ini menegaskan potensi integrasi LLM dan RAG dalam menghasilkan sistem elisitasi kebutuhan perangkat lunak yang adaptif dan kontekstual, meskipun kinerja sistem tetap bergantung pada kualitas dan kelengkapan dokumen proyek yang tersedia.
PENGEMBANGAN INTERACTIVE QUESTION-ANSWERING SYSTEM MENGGUNAKAN LARGE LANGUAGE MODEL DAN RETRIEVAL-AUGMENTED GENERATION DALAM INTELLIGENT TUTORING SYSTEM PEMROGRAMAN
Salah satu kekurangan platform pembelajaran pemrograman daring yang telah dikembangkan adalah minimnya sarana interaksi antara pelajar dan mentor. Pada tugas akhir ini, dikembangkan sebuah intelligent tutoring system dengan fitur sistem question-answering (QA) interaktif untuk memungkinkan interaksi langsung antara pelajar dan model tutor. Sistem QA interaktif dikembangkan menggunakan large language model (LLM) beserta retrieval-augmented generation (RAG) sebagai alternatif untuk menjawab pertanyaan pengguna berdasarkan dokumen materi pembelajaran. Pipeline sistem QA dikembangkan menggunakan kakas LangChain dan dapat diintegrasikan secara langsung ke situs web. Pemrosesan dokumen dilakukan untuk mengubah dokumen materi pembelajaran ke bentuk embedding dalam basis data vektor. Sistem QA memanfaatkan mekanisme history-aware retriever untuk membuat jawaban dan query pencarian yang sesuai dengan chat history. Mekanisme RAG digunakan bersama dengan prompt engineering untuk mengarahkan kemampuan model untuk menjawab sesuai dengan konteks pembelajaran pemrograman. Evaluasi yang dilakukan bersifat kualitatif dengan perbandingan proses retrieval dan evaluasi kualitatif terhadap hasil jawaban sistem QA. Evaluasi subjektif dilakukan dengan membandingkan hasil jawaban berbagai LLM quantized 4-bit dalam skenario pertanyaan satu arah serta percakapan multiturn. Selain evaluasi subjektif, dilakukan penyebaran kuesioner penilaian kualitas jawaban model ke empat belas responden, dengan data uji berupa lima buah pertanyaan dan jawaban dari setiap model terhadap setiap pertanyaan. Hasil evaluasi menunjukkan bahwa model Llama 3 menunjukkan hasil yang lebih konsisten dibandingkan model lainnya, dan hasil RAG dapat lebih efektif dengan penggunaan dokumen yang berukuran lebih besar.