📚 Eksplorasi & Komparasi Topik Dokumen
Pencarian topik
Hasil Dokumen
Ditemukan: 9 dokumenPENGEMBANGAN PENGENDALI PERMANENT MAGNET SYNCHRONOUS MOTOR BERBASIS DEEP REINFORCEMENT LEARNING DENGAN EVALUASI PADA METRIK PERFORMA MOTOR
Penelitian ini mengkaji pengendalian kecepatan Permanent Magnet Synchronous Motor (PMSM) menggunakan algoritma Deep Reinforcement Learning (DRL) sebagai solusi atas keterbatasan kontroler konvensional dalam menangani sistem nonlinear. Penelitian ini membandingkan performa algoritma Deep Deterministic Policy Gradient (DDPG) dan Twin Delayed Deep Deterministic Policy Gradient (TD3), diawali pemodelan matematis fungsi transfer—yang menunjukkan karakteristik motor bersifat overdamped (????=3.826)—lalu dilanjutkan simulasi MATLAB/Simulink terintegrasi FOC. Hasil simulasi menunjukkan algoritma DDPG mengalami kegagalan sistem (divergen) akibat overestimasi nilai Q. Sebaliknya, algoritma TD3 menunjukkan performa yang sangat stabil dan responsif dengan settling time 0.0601 detik, overshoot 11.89%, dan RMSE 0.0729. Agen TD3 melakukan kompensasi agresif guna mempercepat respon transien sistem yang secara teoritis bersifat overdamped. Selain itu, pengujian robustness pada osilator Van der Pol membuktikan kemampuan generalisasi arsitektur TD3 dalam melacak lintasan sistem nonlinear kompleks. Algoritma TD3 terbukti menjadi metode kendali yang jauh lebih handal dan presisi untuk aplikasi motor listrik performa tinggi dibandingkan DDPG.
PERENCANAAN GERAK KENDARAAN OTONOM BERBASIS DEEP REINFORCEMENT LEARNING DENGAN DETEKSI KERUSAKAN JALAN BERDASARKAN KRITERIA KEAMANAN DAN KENYAMANAN
Kemajuan kendaraan otonom menuntut strategi perencanaan gerak yang tidak hanya mampu bernavigasi di lingkungan kompleks, tetapi juga mempertimbangkan kerusakan permukaan jalan. Perencana gerak tradisional umumnya mengabaikan dampak kerusakan jalan—seperti lubang dan retakan—terhadap kenyamanan dan keamanan berkendara. Penelitian ini mengusulkan kerangka kerja yang mengintegrasikan modul persepsi kerusakan jalan You Only Look Once (YOLO) dan agen perencana gerak Deep Reinforcement Learning (DRL) untuk mengoptimalkan keamanan dan kenyamanan lintasan berkendara secara real-time. Modul YOLO dilatih menggunakan dataset 8.847 citra kerusakan jalan dari 16 kota di Indonesia. Agen DRL dilatih dalam simulator CARLA menggunakan modul persepsi YOLO, data telemetri kendaraan, serta fungsi imbalan yang mengoptimalkan keamanan dan kenyamanan berkendara. Hasil evaluasi menunjukkan peningkatan rata-rata performa deteksi precision 37,8%, mAP50 17,56%, mAP50-95 13,33% pada kecepatan 140,8 FPS terhadap penelitian sebelumnya. Lebih lanjut, tingkat keberhasilan penghindaran kerusakan jalan bernilai 100% pada kondisi cerah siang hari dan 84% pada kondisi hujan siang hari. Evaluasi kenyamanan berbasis standar ISO 2631 mengonfirmasi bahwa pendekatan ini mampu memitigasi efek kerusakan jalan terhadap kenyamanan penumpang. Studi ini berkontribusi pada pengembangan sistem otonom agar mampu menavigasi kendaraan dengan aman dan nyaman bahkan pada infrastruktur yang tidak ideal.
OPTIMASI PENGENDALIAN LAJU DEFORMASI PADA UJI KONSOLIDASI TANAH MENGGUNAKAN DEEP REINFORCEMENT LEARNING
Pengujian konsolidasi Constant Rate of Deformation (CRD) mampu memperpendek durasi pengujian dari sekitar 20 hari menjadi 48 jam dibandingkan metode pembebanan inkremental konvensional, namun validitas hasilnya sangat bergantung pada kemampuan menjaga rasio tekanan pori berlebih (excess pore pressure ratio, Ru) dalam rentang 3 ? 15% sebagaimana ditetapkan dalam ASTM D4186. Pendekatan laju regangan statis menghadapi trilema fundamental: tidak terdapat satu laju tunggal yang secara simultan mampu meminimalkan durasi pengujian, memenuhi batasan Ru, dan menghasilkan estimasi indeks kompresi (Cc) yang akurat, karena laju optimal bergantung pada sifat tanah yang tidak diketahui sebelumnya dan berevolusi selama proses konsolidasi. Penelitian ini memformulasikan pengujian CRD sebagai Constrained Markov Decision Process dan mengembangkan strategi kendali adaptif berbasis deep reinforcement learning dengan ruang aksi kontinu. Tiga algoritma actor–critic, yaitu Soft Actor-Critic (SAC), Twin Delayed Deep Deterministic Policy Gradient (TD3), dan Proximal Policy Optimization (PPO), dilatih untuk menyesuaikan laju regangan secara dinamis berdasarkan observasi sensor waktu nyata tanpa memerlukan pengetahuan eksplisit mengenai parameter tanah. Proses pelatihan dilakukan menggunakan digital twin berketelitian tinggi yang didasarkan pada teori konsolidasi regangan hingga, dengan domain randomization yang mencakup variasi sifat tanah, derau sensor, dan keterlambatan aktuator guna menjamin kekokohan kebijakan. Fungsi reward dirancang menggunakan single-sided logarithmic barrier dengan pusat pada target #! yang dipilih berdasarkan analisis pengujian laju statis, sehingga durasi pengujian diminimalkan secara implisit sekaligus penegakan batasan dilakukan secara eksplisit. Hasil evaluasi pada kondisi nominal (tanah lempung Bandung) menunjukkan bahwa PPO memberikan kinerja terbaik dengan durasi pengujian 31,1 jam (reduksi 29.3% dibandingkan laju statis 44,4 jam), Ru maksimal = 0,353 yang berada di bawah ambang 0,50, serta galat estimasi CC sebesar 0,1%. Evaluasi kekokohan menunjukkan bahwa SAC mempertahankan tingkat keberhasilan 73,3% di bawah ketidakpastian parameter, sementara PPO mencapai 85% dengan stabilitas tertinggi. Formulasi aksi kontinu berhasil mengeliminasi discretization loss dan menghasilkan perilaku adaptif yang cerdas.
DRL BERBASIS O-RAN UNTUK CLUSTERING DAN ALOKASI DAYA BERSAMA YANG SADAR INTERFERENSI DALAM SISTEM CELL-FREE MASSIVE MIMO DENGAN PENGGUNA BERGERAK
Cell-Free Massive MIMO (CF-mMIMO) menjanjikan penghapusan batasan sel, namun implementasi praktisnya terhambat oleh tantangan skalabilitas yang substansial, khususnya dalam lingkungan seluler yang dinamis. Tulisan ini mengusulkan kerangka kerja alokasi sumber daya baru yang memanfaatkan arsitektur Open-Radio Access Network (O-RAN) untuk menciptakan sistem CFmMIMO yang skalabel dan cerdas. Tesis ini memformulasikan masalah joint dynamic clustering and power allocation sebagai Markov Decision Process dan menyelesaikannya menggunakan agen Deep Reinforcement Learning (DRL) berbasis algoritma Soft Actor-Critic (SAC). Sebuah inovasi utama terletak pada desain fungsi reward komposit yang secara eksplisit mendorong agen untuk mengelola interference footprint dan signaling overhead-nya. Policy yang dipelajari oleh agen kemudian diimplementasikan melalui rantai pemrosesan skalabel yang memanfaatkan informasi cluster untuk melakukan interference-aware beamforming. Hasil simulasi dari ablation study menunjukkan bahwa kerangka kerja yang tesis ini usulkan secara signifikan meningkatkan reliabilitas jaringan dan stabilitas koneksi dibandingkan dengan heuristik konvensional maupun agen DRL baseline yang tidak memiliki interference-awareness, mendemonstrasikan jalur praktis menuju jaringan cell-free adaptif dengan kinerja yang tinggi. Meningkatkan ukuran cluster bermanfaat untuk mengurangi handover rate, namun meningkatkan interferensi uplink untuk skema yang tidak dilengkapi dengan mekanisme interference-aware, seperti JCPA. Clustering heuristik dan kurangnya mekanisme interference-aware menghasilkan ukuran cluster yang lebih rendah, yang mengurangi manfaat dari spatial diversity. Hanya melakukan joint clustering and power allocation tidak cukup untuk meningkatkan reliabilitas jaringan dan mengurangi kejadian rekonfigurasi clustering. Mekanisme interference-aware mampu membuat algoritma menggunakan ukuran cluster yang lebih besar yang memberikan spatial diversity lebih tinggi dan handover rate lebih rendah. Dalam jaringan CF-mMIMO, mobilitas UE menghadirkan trade-off yang signifikan terhadap kinerja sistem. Saat UE bergerak, kondisi kanalnya terhadap AP yang terdistribusi berubah secara terus-menerus. Jika serving cluster APtidak beradaptasi cukup cepat terhadap pergerakan UE, UE dapat kehilangan spatial diversity gain dan mengalami kualitas sinyal yang buruk, yang mengarah pada probabilitas outage yang tinggi. Sebaliknya, mengonfigurasi ulang cluster terlalu sering untuk melacak link terbaik UE menghasilkan handover rate yang tinggi. Handover rate yang tinggi akan meningkatkan signaling overhead dan gangguan layanan. Selain itu, keputusan untuk meningkatkan daya pancar UE guna mengatasi kondisi kanal yang buruk dapat meningkatkan kualitas link individu mereka, namun dengan biaya peningkatan intersite interference terhadap UE lain dan konsumsi daya keseluruhan yang lebih tinggi. Mengelola trade-off ini memerlukan optimasi dinamis dari serving cluster APMk(t) dan daya pancar uplink pk(t), sembari juga mempertimbangkan mitigasi inter-site interference. Tesis ini bertujuan untuk secara bersamaan mengoptimalkan clustering dan alokasi daya uplink dalam jaringan CF-mMIMO dinamis. Pendekatan tesis ini dibedakan oleh penyertaan tujuan baru yang interference-aware. Alih-alih hanya berfokus pada maksimalisasi SINR dari UE yang dilayani, formulasi tesis ini secara eksplisit bertujuan untuk mengelola interference footprint yang dihasilkan terhadap AP non-serving. Sementara itu, agen IAJCPA yang diusulkan dipandu oleh tujuan interference-aware, yang memungkinkan agen untuk memitigasi interferensi dengan mempelajari clustering dengan overhead rendah dan daya uplink UE yang efisien.Agen JCPA, meskipun mengelola ukuran cluster, tidak secara eksplisit diberi penalti atas potensi interferensi yang diciptakannya terhadap AP non-serving. Oleh karena itu, agen tersebut mungkin mengadopsi policy yang efisien dalam hal clustering overhead namun masih mengganggu link tetangga
CIRCUIT BREAKER ADAPTIF UNTUK MICROSERVICES PADA SERVICE MESH DENGAN PENDEKATAN DEEP REINFORCEMENT LEARNING
Service mesh merupakan salah satu solusi untuk menangani masalah lintas- service pada arsitektur microservices. Akan tetapi, pengaturan parameter circuit breaker secara statis tidak mencerminkan kondisi lingkungan microservices yang dinamis. Masalah ini juga terdapat pada service mesh. Sudah terdapat beberapa penelitian circuit breaker adaptif untuk mengatur paramater circuit breaker secara dinamis berdasarkan kondisi lingkungan microservices, khususnya pada service mesh. Namun, masih terdapat beberapa gap penelitian terkait non-functional property atau metrik yang digunakan sebagai representasi state microservices dan algoritma yang digunakan, khususnya pada salah satu penelitian circuit breaker adaptif berbasis Deep Reinforcement Learning (DRL). Penelitian ini menjembatani kekurangan tersebut dengan merancang circuit breaker adaptif pada service mesh dengan Proximal Policy Optimization (PPO) sebagai salah satu algoritma DRL melalui sebuah controller. Pengujian circuit breaker adaptif ini dilakukan pada service mesh Istio. Controller yang dirancang berhasil mengatur parameter http2MaxRequests secara dinamis setiap 10 detik berdasarkan request rate, P95 response time, dan success rate permintaan. Berdasarkan hasil pengujian pada tiga model PPO yang dilatih, dicapai success rate sebesar 89,93%, 90,18%, dan 90,50% dengan P95 response time-nya berturut-turut sebesar 885,71 ms, 913,77 ms, dan 941,65 ms. Hasil evaluasi menunjukkan bahwa circuit breaker adaptif yang dirancang berhasil mencapai success rate yang optimal dengan P95 response time yang terjaga dibandingkan dengan circuit breaker statis yang diuji.
PENGEMBANGAN INTRUSION DETECTION SYSTEM PADA LINGKUNGAN INTERNET OF THINGS BERBASIS DEEP REINFORCEMENT LEARNING
Pemanfaatan Internet of Things (IoT) yang meningkat secara eksponensial telah memperluas risiko keamanan akibat banyaknya perangkat yang terhubung. Keterbatasan sumber daya komputasi pada perangkat IoT menjadi tantangan utama, di mana solusi keamanan seperti Intrusion Detection System (IDS) tidak hanya dituntut akurat, tetapi juga harus efisien dan ringan (lightweight) agar dapat diimplementasikan secara praktis. Pada penelitian ini, dikembangkan sebuah IDS dengan mengimplementasikan modul traffic collector, analysis engine, dan aplikasi user interface. Menggunakan dataset CICIoT2023, dibangun sebuah model deteksi berbasis Deep Reinforcement Learning (DRL) dengan algoritma Deep Q-Network (DQN) yang kemudian di-deploy pada perangkat Raspberry Pi 4 Model B. Hasil analisis pengujian menunjukkan bahwa model DRL yang diimplementasikan mampu mendeteksi lalu lintas jaringan dengan metrik F1-Score 0.8142 yang menyeimbangkan antara precision 0.8734 dan recall 0.7814. Dari aspek lightweight, model ini menunjukkan performa yang sangat baik dengan ukuran model hanya 100.40 KB dan latensi inferensi sangat cepat sebesar 11.53 ms, membuktikan potensinya untuk deployment real-time pada perangkat IoT. Meskipun demikian, penggunaan memori statis menjadi tantangan yang teridentifikasi untuk optimisasi di masa depan
ALOKASI DAYA BERBASIS DEEP DETERMINISTIC POLICY GRADIENT UNTUK EFISIENSI ENERGI PADA JARINGAN INDUSTRIAL IOT
Munculnya jaringan Industrial Internet of Things (IIoT) membawa tantangan yang signifikan dalam hal alokasi sumber daya, khususnya dalam menjamin distribusi daya yang cerdas dan berlangsung secara real-time terhadap sejumlah besar node sensor. Efisiensi alokasi daya menjadi aspek yang sangat krusial untuk mencapai efisiensi energi yang tinggi, terutama di lingkungan industri yang menuntut pemenuhan terhadap persyaratan minimum data rate pada setiap node, di tengah keterbatasan ketersediaan daya. Penelitian ini mengusulkan pendekatan berbasis Deep Reinforcement Learning (DRL) dengan menggunakan algoritma Deep Deterministic Policy Gradient (DDPG) untuk mengoptimalkan alokasi daya pada sistem IIoT. Tujuan utama dari pendekatan ini adalah untuk memaksimalkan efisiensi energi secara menyeluruh di tingkat sistem, dengan tetap memastikan bahwa setiap node memenuhi persyaratan minimum data rate, serta menjaga agar total konsumsi daya tidak melebihi batas maksimum yang telah ditentukan. Untuk mendukung pencapaian tujuan tersebut, dirancang sebuah fungsi reward khusus yang secara eksplisit mengintegrasikan berbagai kendala sistem ke dalam proses pembelajaran. Dengan demikian, agen DDPG dapat mempelajari kebijakan alokasi daya yang secara implisit mematuhi batasan-batasan sistem yang berlaku. Hasil simulasi menunjukkan bahwa metode yang diusulkan mampu memberikan kinerja yang lebih baik dibandingkan dengan kebijakan alokasi acak yang dijadikan sebagai pembanding (baseline), dengan peningkatan efisiensi energi hingga 3,5 hingga 5 kali lebih tinggi pada berbagai skenario kepadatan node. Temuan ini menunjukkan bahwa algoritma DDPG efektif dalam mempelajari strategi alokasi daya yang adaptif dan sadar terhadap kendala, serta memiliki potensi yang tinggi untuk diterapkan pada jaringan IIoT industri yang bersifat skalabel dan hemat energi.
DYNAMIC OPTIMIZATION FRAMEWORK FOR CRUDE OIL FUTURES TRADING AT PT BIOMA BERSAMA INDONESIA WITH MULTI-AGENT DEEP REINFORCEMENT LEARNING
PT Bioma Bersama Indonesia is a company that develops quantitative finance solutions based on artificial intelligence for the crude oil sector. The existing crude oil futures trading model performed poorly on deployment, potentially producing negative 8% yearly return which signified a major problem. Multiple different investment strategies are usually weighed on the significance of their return and risk probabilities, especially towards a volatile market such as commodity futures. Therefore, this study proposes an ensemble and hierarchical Multi-agent Deep Reinforcement Learning (MDRL) approach, using multiple agents designed with different reward functions integrated with state-of-the-art temporal feature extraction, to solve crude oil futures trading as a Markov decision problem. This study implements MDRL using daily Brent Crude Oil Futures price data, technical, and fundamental analysis. Along with an integration of TimesNet for temporal feature extraction by leveraging MobileNetV3 vision backbone, with MDRL using two actor-critic based algorithms, A2C and PPO, and one value-based algorithm, DDQN. Each algorithm trains three agents each with unique reward functions: risk-aversion based on Sharpe ratio, mid-term profit, and immediate profit. Agent training uses in-sample data ranges from November 2014 – 2022 with a growing rolling window of 2 (two) years followed with the validation step, using out-of-sample data ranging until November 2024. Experiments show that the ensemble MDRL framework has better performance than both the baseline Buy-and-Hold strategy and hierarchical MDRL based on accumulated rewards. With A2C with midterm profit achieving the highest yearly performance with 13.031% return, -14.366% maximum drawdown, 0.554 Sharpe ratio, and 0.795 Sortino ratio, showing great profitability and risk-aversion. With the agent successfully generating profits for the company despite the bearish nature of the market, this study attempts to make recommendations towards the deployment of the framework regarding the topic of balancing model effectivity and computational resource efficiency.
OPTIMASI PORTOFOLIO SAHAM BERBASIS DEEP REINFORCEMENT LEARNING: STUDI ALGORITMA DEEP Q-NETWORK
Fenomena algorithmic trading adalah suatu fenomena yang sedang marak terjadi belakangan ini. Pesatnya perkembangan algoritma kecerdasan buatan dan menggiurkannya berinvestasi di pasar saham membuat kebolehan algorithmic trading dilirik, baik dari sisi akademis seperti halnya pengembangan algoritma, maupun sisi investasi seperti halnya bisnis. Tesis ini bertujuan untuk menerapkan algoritma Deep QNetwork yang merupakan algoritma dari Deep Reinforcement Learning dan membandingkan hasilnya dengan metode optimasi konvensional: metode DJIA dan metode Sharpe ratio. Berbeda dari supervised- dan unsupervised- learning, reinforcement learning bekerja dengan cara mensimulasikan sistem ke dalam dua bagian utama, yakni interasi antara agent dan environment. Data bersumber dari Dow Jones Industrial Average, diurutkan berdasarkan market capital, yang dibagi menjadi: training (1 Januari 2009 s.d. 31 Desember 2019); validasi (1 Januari 2020) s.d. 31 Desember 2021); dan testing (1 Januari 2022 s.d. 14 Desember 2023). Hasil simulasi menunjukkan bahwa penghasilan portofolio yang didapat mengungguli dua metode konvensional. Namun perlu dicatat bahwa hasil ini tidak berlaku mutlak karena environment yang dibuat perlu terus diperbaharui mengikuti fluktuasi pasar saham.