Primjena metoda strojnog učenja u otkrivanju financijskih prevara

master's thesis

• Title (english): Application of machine learning methods in detecting financial fraud
• Author: Ivan Knezić
• Mentor: Luka Grubišić (mentor)
• Committee member: Luka Grubišić (predsjednik povjerenstva)
• Committee member: Maja Resman (član povjerenstva)
• Committee member: Sonja Štimac (član povjerenstva)
• Committee member: Matija Bašić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Science; (Department of Mathematics); Zagreb
• Defense date and country: 2020-12-02, Croatia
• Scientific / art field, discipline and subdiscipline: NATURAL SCIENCES; Mathematics

Abstract

Potreba za prepoznavanjem kartičnih prevara u današnje vrijeme jedan je od najvećih problema s kojim se svijet susreće. Količina elektroničkih transakcija je iz godine u godinu sve veća , pa čak i tolika da je vremenski nemoguće ’ručno’ provjeravati sve transakcije. Za eksperiment smo koristili skup od oko 285000 transakcija koje su prikupljene u svega 2 dana u Europi. Onda možemo samo zamisliti koliko transakcija se događa svaki dan u svijetu koristeći razne platforme. Da bi banke prepoznale prevare među svim tim transakcijama koriste razne algoritme strojnog učenja. Cilj je ’izgraditi’ što precizniji model koji će prepoznavati velik broj prevara (odnosno ne želimo da model prepoznaje puno prevara, ali i da puno valjanih transakcija prepoznaje kao prevare). Problem koji se javlja u takvim situacijama je neuravnoteženost klasa, odnosno puno je više valjanih transakcija od prevara. U odjeljku 1.2 smo objasnili zašto točnost nije dobra mjera kada mjerimo performanse modela kod prepoznavanja kartičnih prevara. Takoder smo spomenuli metrike koje je dobro koristiti u slučaju neuravnoteženih klasa te smo pojasnili koje su prednosti tih metrika. U poglavlju 2 smo ukratko opisali izazove koje susrećemo prilikom klasifikacije na neuravnoteženim skupovima podataka te koje probleme ti izazovi predstavljaju prilikom treniranja modela. U poglavlju 3 smo se posvetili različitim metodama ponovnog uzorkovanja. Detaljno smo opisali više različitih metoda poduzorkovanja i preuzorkovanja te se osvrnuli na mane i prednosti svake od njih. Prilikom eksperimenta smo koristili razne klasifikatore (opisani u poglavlju 4). Rezultate dobivene različitim kombinacijama metoda ponovnog uzorkovanja i klasifikatora smo predstavili u poglavlju 5. Na temelju dobivenih rezultata smo donijeli zaključke (poglavlje 6). Sustav za prepoznavanje kartičnih prevara trebao bi biti dio sigurnosnog sustava kod svake banke te bi se trebao svakodnevno unaprjedivati upravo zato što se i nove tehnike koriste za kradu. Odnosno, kada prevaranti shvate da banka ima dobar sustav za prepoznavanje prevara će i oni promijeniti svoje tehnike tako da i sustav treba aktualizirati. Obzirom na sav tak razvoj metode ponovnog uzorkovanja možda neće biti dovoljno dobre da bismo dobili zadovoljavajuće modele. Napomenimo da metode ponovnog uzorkovanja nisu jedini način za borbu s ’neravotežom klasa’. Postoje i troškovno-osjetljivi pristupi za koje nije potrebno precizno prilagodavati omjer neravnoteže (sjetimo se da je jako teško ispravno odabrati omjer neravnoteže prilikom ponovnog uzorkovanja), ali zahtijevaju bolje razumijevanje modela i podataka

Abstract (english)

The need to identify credit card fraud is one of the biggest challenges the world is facing nowadays. The number of electronic transactions is increasing year by year, even so much that it is basically impossible to ’manually’ check all of them. For this experiment we used data set that consist of about 285000 transactions that are collected in just 2 days in Europe. Using that information we can only imagine how many transactions take place every day in the world using various platforms. Banks use many different machine learning algorithms to detect fraudulent transactions among non fraudulent ones. The goal is to ’build’ a model that is precise and sensitive as possible, meaning that we don’t want a model that is excellent at detecting frauds, but also recognizes many valid transactions as fraudulent. The major problem we are dealing with is the class imbalance, ie. there are many more valid transactions than fraudulent ones (in credit card fraud detection data set for each fraudulent transaction there is 578 valid ones). In section 1.2 we explained why accuracy is not good performance metric when it comes to imbalanced data sets such as credit card fraud detection data set. Then we mentioned which measures should be used instead and why are we using those other metrics. In chapter 2 we described challenges that we encounter when dealing with class imbalance and how to deal with problems that arise from those challenges during training phase. Chapter 3 is dedicated to exploring resampling methods. We present in detail description of several different undersampling and oversampling methods and which advantages or disadvantages those methods bring. For the experiment we used many different classifiers which we describe in chapter 4. The results obtained by different combinations of resampling methods and classifiers are presented in the chapter 5. Based on the obtained results, we drew conclusions (chapter 6). The credit card fraud detection system should be a part of every bank’s security system and improving that system requires constant research and development (because new fraud techniques are also being developed). In other words, fraudsters realize when the bank have good anti-fraud system in place so they alter their techniques meaning that bank will have to update their system to adapt. Taking all that into consideration, resampling methods may not be good enough to stop fraudsters. We mentioned that resampling methods are not the only way to ’fight’ class imbalance. We can also use cost-sensitive approaches which don’t require adjusting imbalance ratio, but they demand better model and data understanding.

• Keywords: kartične prevare; elektroničke transakcije; neuravnoteženost klasa
• Keywords (english): credit card fraud; electronic transactions; the class imbalance
• Language: croatian
• URN:NBN: urn:nbn:hr:217:347949
• Study programme: Title: Computer Science and Mathematics; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra računarstva i matematike (magistar/magistra računarstva i matematike)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2021-02-22 16:38:14