Skip to content

Comparison of Deep Learning Algorithms on Malware Detection

Halaman utama

Game RPG berbasis Andorid untuk meningkatkan kesadaran keamanan informasi khususnya mengenai serangan social engineering.

Rekapitulasi serangan siber yang diterbitkan oleh Pusat operasi keamanan siber nasional Badan Siber dan Sandi Negara menunjukkan serangan yang diterima pada tahun 2021 dilakukan dengan metode serangan social engineering. Dalam mencegah serangan social engineering tersebut, maka diperlukan cara untuk meningkatkan kesadaran kemanan terhadap social engineering itu sendiri salah satunya dengan Education, Training and Awareness (ETA). Oleh karena itu, dilakukan penelitian terkait penerapan game-based learning guna meningkatkan kesadaran keamanan pengguna terhadap serangan social engineering. Aplikasi game-based learning dibuat dalam bentuk permainan top-down rpg yang dapat dioperasikan pada perangkat android. Dalam pengembangannya diterapkan model GDLC (Game Development Lifecycle). Dampak dari penggunaan aplikasi diukur menggunakan kuesioner pre-test dan post-test kepada responden. Dari hasil kuesioner yang disebarkan pada responden, dapat disimpulkan bahwa aplikasi game-based learning dapat meningkatkan security awareness terhadap serangan social engineering.

Judul penelitian

Perbandingan Single-View Deep Learning dan Multi-View Deep Learning untuk Deteksi Android Malware.

Implementasi

Pendekatan yang dilakukan pada penelitian ini merupakan pendekatan eksperimen, kualitatif, dan kuantitatif. Pendekatan kualitatif diterapkan untuk pengolahan data penelitian. Pendekatan eksperimen diterapkan pada proses pembuatan model deep learning untuk mendapatkan hasil terbaik. Sedangkan pendekatan kuantitatif diterapkan untuk menganalisis hasil dari pengujian model prediksi Android malware.

Desain penelitian yang diacu ditunjukkan pada gambar di bawah ini.

Desain penelitian

Pada penelitian ini akan dilakukan perbandingan antara arsitektur single-view dan multi-view deep learning. Proses pertama adalah ekstraksi data lalu dilanjutkan dengan pra proses data, selanjutnya data yang telah diproses akan digunakan pada model single-view deep learning. Masing-masing model single-view deep learning akan digabungkan untuk membangun arsitektur multi-view deep learning. Selanjutnya akan dilakukan evaluasi model pada masing-masing model untuk dijadikan bahan perbandingan antara arsitektur single-view dan multi-view deep learning.

Dataset yang digunakan adalah dataset Chimera. Dataset berupa file csv yang terdiri dari empat kategori fitur, yaitu dex file, Android intent, Android permissions dan system-calls. Dataset berjumlah 21992 aplikasi Android yang telah diekstraksi yang terdiri dari 11165 benignware dan 10827 malware. Pengambilan data permissions menggunakan aplikasi Androguard dan system-calls menggunakan Android Debug Bridge (ADB) pada Genymotion.

Penelitian ini menggunakan tiga base model deep learning. Base model pertama menggunakan MLP untuk memproses fitur permissions. Base model kedua menggunakan LSTM untuk memproses fitur system-calls. Sedangkan base model ketiga merupakan gabungan base model pertama dan kedua untuk arsitektur multi-view deep learning. Model yang telah dibuat dan dijalankan pada tahap sebelumnya akan dilakukan evaluasi model. Evaluasi model dilakukan untuk membandingkan hyper-parameter yang telah ditentukan untuk mencari model yang terbaik. Evaluasi model dilakukan berdasarkan confusion matrix untuk mendapatkan nilai akurasi, f1-score, presisi, dan recall.

Proses evaluasi model dilakukan dengan menggunakan parameter dan optimizer berbeda. Di bawah ini adalah hasil pengujian dengan menggunakan optimizer dan parameter learning rate berbeda.

f1 score

Berdasarkan Tabel di atas, pada arsitektur single-view deep learning didapatkan model deep learning terbaik dengan akurasi sebesar 81% dan f1-score sebesar 80% terdapat pada model MLP menggunakan fitur permissions dengan optimizer Adam dan parameter learning rate 0.005. Sedangkan pada arsiektur multi-view deep learning model terbaik dengan nilai akurasi 82% dan f1-score bernilai 81% terdapat pada model multi dengan optimizer Adam dan parameter learning rate 0.005. Sehingga model terbaik pada penelitian ini terdapat pada arsitektur multi-view deep learning. Setelah didapatkan model terbaik, dilakukan pengujian terhadap 3 sampel malware yang belum dikenali oleh model. Hasil yang didapatkan model mampu mendeteksi tiga sampel malware yang diuji.

Berdasarkan hasil penelitian perbandingan single-view deep learning dan multi-view deep learning untuk deteksi Android Malware, didapatkan kesimpulan untuk menjawab rumusan masalah sebagai berikut.

  1. Berdasarkan hasil evaluasi model, pada arsitektur single-view deep learning didapatkan model terbaik dengan nilai akurasi 81% dan f1-score 80% menggunakan algoritma MLP dan fitur permissions serta optimizer yang digunakan adalah Adam dengan parameter learning rate 0.005. Sedangkan pada arsitektur multi-view deep learning menggunakan optimizer Adam dan parameter learning rate 0.005 mendapatkan akurasi sebesar 82% dan f1-score sebesar 80%. Sehingga terjadi kenaikan pada nilai akurasi sebesar 1%.

  2. Berdasarkan hasil benchmarking model pada penelitian didapatkan model terbaik untuk klasifikasi Android malware menggunakan arsitektur multi-view deep learning dengan optimizer Adam serta parameter learning rate sebesar 0.005 mendapatkan hasil akurasi sebesar 82% dan f1-score sebesar 81%.

Tangkapan Layar

  1. Kurva Akurasi dan Loss Model MLP Adam 0.005
    Loss model

  2. Kurva Akurasi dan Loss Model LSTM RMSProp 0.005
    Loss model

  3. Kurva Akurasi dan Loss Model Multi Adam 0.005
    Loss model

Peneliti

  • Fika Dwi Rahmawati

Supervisor

  • R. Budiarto Hadiprakoso
  • Ray Novita Yasa
  • Girinoto

Publikasi

F. D. Rahmawati, R. B. Hadiprakoso and R. N. Yasa, "Comparison of Single-View and Multi-View Deep Learning for Android Malware Detection," 2022 International Conference on Information Technology Research and Innovation (ICITRI), Jakarta, Indonesia, 2022, pp. 53-58, doi: 10.1109/ICITRI56423.2022.9970205.