Sijesi: A Chatbot for CSIRT Services

Cover

Chatbot dengan pendekatan Retrieval Augmented Generation dan Prompt Engineering untuk Layanan CSIRT di Provinsi DKI Jakarta.

Penelitian ini bertujuan untuk merancang chatbot berbasis Large Language Models (LLM) sebagai layanan konsultasi insiden siber pada JakartaProv-CSIRT dengan pendekatan Retrieval Augmented Generation (RAG), integrasi dengan GPT dan menggunakan teknik prompt engineering. Penelitian ini dilatarbelakangi oleh kebutuhan akan inovasi dalam mengedukasi masyarakat DKI Jakarta mengenai keamanan siber, terutama karena rendahnya kesadaran akan keamanan siber di wilayah tersebut. Fokus utama penelitian ini adalah peningkatan layanan konsultasi pada masyarakat menggunakan teknologi otomasi berupa chatbot RAG. Dalam konteks pengamanan chatbot, penelitian ini juga akan mengulas metode pengamanan dari serangan prompt injection. Penelitian ini menggunakan metode pengembangan perangkat lunak System Development Life Cycle Waterfall. Dengan demikian, diharapkan hasil yang didapatkan mampu memberikan kontribusi dalam meningkatkan kesadaran akan keamanan siber di DKI Jakarta melalui penerapan teknologi chatbot yang inovatif dan aman. Chatbot LLM dengan pendekatan RAG menggunakan teknik prompt engineering mampu menghasilkan jawaban yang lebih baik dibandingkan dengan jawaban human based dan GPT 3.5 dengan mendapatkan nilai tertinggi sebesar 35,26% dalam pengujian A/B. Selain itu, chatbot RAG mendapatkan tingkat kepuasan sangat baik dengan perolehan nilai 86.47 % pada pengujian User Acceptance Testing.