📚 Eksplorasi & Komparasi Topik Dokumen
Pencarian topik
Hasil Dokumen
Ditemukan: 2 dokumenMITIGASI HALUSINASI PADA RAG-LLM DENGAN EKSPANSI AKRONIM, QUERY REWRITING, DAN CONTEXT RERANKING PADA DATASET BIOMEDIS
LargeLanguageModels (LLM) telahbanyakdigunakanuntuktanyajawabin- formasi biomedis,namunrentanmenghasilkanhalusinasi,yaitujawabanyang terlihat meyakinkantetapitidakdidukungsumberyangvalid.Pendekatan Retrieval- Augmented Generation (RAG) ditawarkanuntukmengurangihalusinasidengan menyertakan dokumenrelevansebagaikonteks,namunkualitasjawabanmasih bergantungpadakeberhasilantahap retrieval. Padadomainbiomedis,sistemRAG menghadapi tantangantambahanberupa vocabulary mismatch, yaituketidakcocok- an antaraistilahpanjangyangdipakaipenggunadenganakronimyangumumtertulis pada dokumenilmiah. Penelitian inibertujuanmerancang,mengimplementasikan,danmenganalisissistem mitigasi halusinasipadaRAG-LLMyangmenggabungkantigateknikkomplemen- ter,yaitu ekspansi akronim sebagai praprosesdokumen, query rewriting untuk memperkaya kueripengguna,dan context reranking untuk memilihkonteksyang paling relevansebelumtahap generation. Sistemdiujipada dataset PubMedQA dengan korpus1.000paperbiomedisdan500pertanyaanevaluasimenggunakan model LLMGPT-4.1-mini. Hasil evaluasimenunjukkanbahwaekspansiakronimmeningkatkankinerja retrie- val secara konsisten,yaitu Recall@5 naik dari78,65%menjadi84,96%,MAP@5 dari 75,32%menjadi82,47%,dannDCG@5dari83,08%menjadi88,45%.Teknik context reranking juga konsistenmeningkatkanakurasipadaseluruhmodelLLM yang diujisebesar1–3poinpersentase.Konfigurasiterbaikyangmenggabungkan ekspansi akronim, query rewriting, dan context reranking pada GPT-4.1-minimen- capai accuracy 74,8% dan faithfulness 0,980. Secarakeseluruhan,hasileksperimen menunjukkan bahwakombinasiketigateknikmampumenurunkan hallucination rate dari 34,6%menjadi25,2%sekaligusmeningkatkankualitasjawabansistem tanya jawabbiomedis.
INFORMATION RETRIEVAL SYSTEM DENGAN RETRIEVAL- AUGMENTED GENERATION BERBASIS KNOWLEDGE GRAPH HETIONET UNTUK DOMAIN MEDIS
Retrieval-Augmented Generation (RAG) merupakan salah satu pengembangan sistem yang menggabungkan kemampuan information retrieval dengan generative language model. Namun, penerapan RAG pada domain medis masih menghadapi beberapa permasalahan, di antaranya kesulitan dalam memperoleh informasi yang akurat dan terstruktur, serta keterbatasan pemahaman model terhadap hubungan semantik antar entitas medis. Salah satu solusi untuk meningkatkan pemahaman tersebut adalah dengan memanfaatkan Knowledge Graph (KG) yang menyimpan informasi medis dalam bentuk struktur hubungan antar entitas, seperti penyakit, obat, gejala, dan efek samping. Sistem dirancang untuk mampu mengekstraksi informasi dari pertanyaan yang diajukan, melakukan penelusuran jalur yang relevan di dalam KG, serta menghasilkan jawaban yang sesuai dengan bantuan Large Language Model (LLM). Dalam tugas akhir ini, Hetionet digunakan sebagai sumber KG karena kaya akan informasi medis. Selanjutnya, metode Knowledge Graph Embedding (KGE) dengan algoritma RotatE digunakan untuk merepresentasikan KG ke dalam bentuk vektor. Selain itu, proses ekstraksi informasi dari pertanyaan dilakukan menggunakan LLM untuk menentukan strategi penelusuran pada KG. Tugas akhir ini merupakan bagian dari proyek capstone yang terdiri atas dua subtopik besar, yaitu: (1) pembangunan knowledge graph dari karya ilmiah, dan (2) v pemanfaatan KG pada RAG untuk meningkatkan relevansi hasil pencarian informasi. Tugas akhir ini berfokus pada subtopik kedua, yaitu integrasi KG dalam RAG. Hasil pengujian menunjukkan bahwa algoritma RotatE mampu merepresentasikan struktur dan hubungan dalam KG dengan baik, LLM dapat memberikan jalur penelusuran KG yang relevan terhadap pertanyaan, serta integrasi RAG + KG menghasilkan akurasi yang lebih tinggi dibandingkan RAG konvensional. Dengan demikian, dapat disimpulkan bahwa integrasi RAG dengan KG berbasis embedding mampu meningkatkan akurasi jawaban dalam domain medis.