Gelaran Finhacks 2018 #DataChallenge telah mencapai puncaknya, yakni tahap final Demo Day. Di ajang ini para finalis mempresentasikan hasil karya mereka di depan para dewan juri serta hadirin yang datang. Acara puncak ini dilaksanakan di Soehanna Hall, Jakarta pada tanggal 14 November, mulai pukul 09.00 pagi hingga pukul 18.00.
Finhacks 2018 #DataChallenge merupakan inisiatif PT Bank Central Asia Tbk (BCA) sebagai bank terbaik di Indonesia dan Asia, untuk berperan serta dalam mengembangkan ekosistem data science di Indonesia, dengan didukung oleh DailySocial.id dan Algoritma dalam penyelenggaraannya.
Di bawah ini merupakan hasil perolehan tim terbaik pada Finhacks 2018 #DataChallenge – Demo Day.
Kategori Credit Scoring
Terbaik 1 – Tim 4.5 Namun Tetap Keren, mendapatkan Rp 80 juta
Dalam presentasinya, Tim 4.5 Namun Tetap Keren menjelaskan bahwa model machine learning yang diciptakan mampu mempermudah pelaksanaan credit scoring dengan akurasi 86,6%. Model dibuat dengan teknik stacking di mana Random Forest sebagai base estimator dan di-boosting dengan Adaptive Boosting (AdaBoost). Dari preprocessing data, cleansing, hingga pemodelan, semua tahapan dapat dilakukan dengan cara yang relatif mudah serta kemampuan komputasi yang sefisien mungkin untuk industri perbankan.
Terbaik 2 – Tim yangmana, mendapatkan Rp 50 juta
Dalam presentasinya, Tim yangmana menjelaskan bahwa model yang mereka rancang merupakan kreativitas mereka dalam menciptakan fitur baru atau biasa disebut feature engineering, dengan didukung machine learning algorithm XGBoost, yang dikenal luas menjuarai kompetisi predictive modelling. Selain itu, mereka juga mampu menjelaskan apa yang terjadi pada model yang mereka buat menggunakan SHAP scoring, di mana umumnya model itu sulit dijelaskan karena black box dan kompleks.
Kedua finalis lainnya dalam kategori Credit Scoring adalah Tim FullKeju dan growingtaiba. Kedua tim ini berhak mendapatkan hadiah senilai Rp 10 juta. Satu tim lainnya, s1mple terpaksa didiskualifikasi karena tidak hadir ke acara Demo Day sesuai syarat dan ketentuan kompetisi.
Kategori Fraud Detection
Terbaik 1 – Tim exB202, mendapatkan Rp 80 juta
Dalam presentasinya, Tim exB202 menjelaskan bahwa model yang mereka desain sangat sederhana namun performanya sangat tinggi, serta tidak memerlukan komputer dengan kemampuan komputasi yang tinggi untuk mengimplementasikannya. Algoritma utama yang mereka pakai adalah Gradient Boosting Decision Trees (GBDT), dengan implementasi XGBoost. Mereka mendesain fitur tambahan yang dibuat khusus untuk meningkatkan performa GBDT.
Pada awalnya, model tanpa fitur bantuan apapun dihasilkan, kemudian diamati strukturnya. Hasil analisa struktur pohon dipadukan dengan analisis interaksi antar variabel mampu menghasilkan sebuah fitur tambahan yang mendongkrak performa model. Fitur ini mereka beri nama “Durasi”. Pada ahirnya model mereka tersusun atas data mentah dan hanya satu buah fitur tambahan yakni “durasi” yang kemudian dimasukkan ke dalam XGBoost.
Terbaik 2 – Tim Pemula, mendapatkan Rp 50 juta
Dalam presentasinya, Tim Pemula menjelaskan bahwa solusi mereka menggunakan ensemble method yang dinamakan stacking. Intinya adalah dengan menggunakan prediksi dari 10 model machine learning yang berbeda. Model machine learning yang kedua juga dilatih dengan mempelajari kesalahan-kesalahan dari model machine learning sebelumnya. Lalu digunakan juga XGBoost yang hyperparameters-nya di-fine-tune dengan Bayesian Optimization. Final predictions-nya adalah dengan mengambil rata-rata dari model XGBoost dan stacked models untuk mengurangi variance dari model-model dan mencegah overfitting.
Ketiga finalis lainnya dalam kategori Fraud Detection adalah Tim 3M, NRGO, dan theDoctor. Ketiga tim ini berhak mendapatkan hadiah senilai Rp 10 juta.
Kategori ATM Cash Optimization
Terbaik 1 – Tim dilan, mendapatkan Rp 80 juta
Dalam presentasinya, Tim dilan menjelaskan model machine learning yang mereka kembangkan merupakan model gabungan terbaik yang dipilih dari 4 model XGBoost dengan skenario variabel tanggal gajian yang bermacam-macam dan 1 model Naive (150 ATM).
Variabel yang paling penting untuk memprediksi penarikan uang pada periode tersebut adalah variabel tanggal gajian, dengan asumsi umum bahwa tanggal gajian di akhir bulan yang jatuh di hari libur akan dipindahkan di hari sebelumnya yang bukan hari libur. Hasil prediksi dari model yang digunakan mendapatkan hasil prediksi terbaik dari 124 model yang dikirimkan.
Terbaik 2 – Tim Resistance, mendapatkan Rp 50 juta
Dalam presentasinya, Tim Resistance menjelaskan bahwa mereka memprediksi jumlah penarikan uang (withdrawals) ATM pada waktu tertentu dengan memanfaatkan data historis yang tersedia. Saat mengeksplorasi data, mereka menemukan bahwa pada umumnya jumlah penarikan pada hari Minggu dan hari libur lebih rendah daripada hari lain, sedangkan penarikan para akhir bulan (dekat tanggal penerimaan gaji) cenderung meningkat. Mereka juga mencoba mengelompokkan ATM dan menemukan adanya sejumlah ATM yang tampaknya terletak di perkantoran dan pusat perbelanjaan.
Model Gradient Boosting Decision Tree yang mereka buat dilatih dengan menggunakan pola penarikan uang masing-masing ATM terhadap rata-ratanya. Misal, ATM K1 memiliki penarikan lebih rendah pada hari Minggu, karena jumlah penarikannya hanya 0.6*mean. Berdasarkan hasil pengujian pada validation set, model ini mampu menangkap pola kenaikan dan penurunan withdrawals dengan cukup baik – jika dibandingkan dengan model time series yang mereka buat sebelumnya.
Ketiga finalis lainnya dalam kategori ATM Cash Optimization adalah Tim Nasi Kuning, Talam, Stat-Ion. Ketiga tim ini berhak mendapatkan hadiah senilai Rp 10 juta.
“Melalui Finhacks 2018 #DataChallenge, kami meyakini bakat terbaik dari para data scientist di Tanah Air dapat terjaring sehingga para talenta terbaik ini mampu berkreasi secara maksimal dengan data dan mengeksekusinya hingga menjadi rumusan solusi di bidang perbankan,” jelas Jahja Setiaatmadja, Presiden Direktur BCA.
Kelimabelas tim terpilih tersebut merupakan hasil dari kompetisi yang dilakukan secara online di website resmi https://finhacks.id/. Dimulai sejak tanggal 8 Agustus 2018, para peserta ditantang untuk mengembangkan model machine learning di tiga kategori, yaitu Credit Scoring, Fraud Detection, dan ATM Cash Optimization. Lewat gelaran Finhacks 2018 #DataChallenge, berhasil terkumpul sebanyak 4.162 peserta yang melakukan registrasi di website resmi.
Tidak hanya kompetisi, gelaran Finhacks 2018 #DataChallenge juga telah menyelenggarakan tiga workshop di Jakarta, Yogyakarta, dan Bandung yang diikuti oleh sebanyak 330 peserta di semua kota. Ajang workshop ini menghadirkan beberapa narasumber dari berbagai perusahaan teknologi di Indonesia. Mulai dari Traveloka, Microsoft, DCI Indonesia, Algoritma, Tirto.id, Media Kernels Indonesia, dan tentunya BCA.
Peserta yang telah melakukan registrasi juga wajib mengikuti online pre-assessment test, sebagai syarat untuk dapat mengikuti tahap online data challenge. Lewat kedua tahap ini, terjaring sebanyak 750 peserta yang lulus dan bergabung ke dalam 222 tim, serta menghasilkan sebanyak 605 model machine learning yang dilombakan. Setelah tahap ini ditutup pada tanggal 13 Oktober 2018 dan melewati proses penilaian dari penyelenggara, terpilih 15 tim yang berhak mengikuti tahap Demo Day di Jakarta dan memperebutkan hadiah senilai total Rp 480 juta.
Khusus dalam acara Finhacks 2018 #DataChallenge Demo Day, tidak hanya diisi dengan presentasi peserta. Ada pula sesi diskusi panel bertajuk “Building a Great Data Culture” yang dihadiri oleh Armand Wahyudi Hartono selaku Wakil Presiden Direktur BCA, Crystal Widjaja selaku SVP Business Intelligence and Growth GO-JEK Indonesia, dan Tushar Bhatia selaku Head of Growth & Data Science Bukalapak, dengan moderator Rama Mamuaya selaku CEO DailySocial.id.
Acara ini juga dimeriahkan oleh penampilan dari Dance of HaloBCA, Voice of HaloBCA, serta penampilan spesial dari Cak Lontong, yang berhasil mengundang gemuruh gelak tawa seluruh hadirin di Soehanna Hall, Jakarta lewat sajian stand-up comedy yang cerdas.
Disclosure: Artikel ini adalah advertorial untuk rangkaian acara Finhacks 2018 #DataChallenge yang didukung oleh BCA.
