Algoritmi učenja bazirani na jezgrama

master's thesis

• Author: Domagoj Beti
• Mentor: Goranka Nogo (mentor)
• Committee member: Goranka Nogo (predsjednik povjerenstva)
• Committee member: Miljenko Marušić (član povjerenstva)
• Committee member: Dijana Ilišević (član povjerenstva)
• Committee member: Nikola Sandrić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Science; (Department of Mathematics); Zagreb
• Defense date and country: 2017-09-25, Croatia
• Scientific / art field, discipline and subdiscipline: NATURAL SCIENCES; Mathematics

Abstract

Analiza uzoraka sastavni je dio znanstvenih disciplina kao što su strojno učenje, rudarenje podataka, statistika i bioinformatika. U ovom radu promatrali smo kako primijeniti jezgrine funkcije u različitim algoritmima za učenje te kako takvim pristupom pronaći uzorke među podacima. Vidjeli smo da je takav pristup modularan, odnosno da se svaka jezgra mogla koristiti u svakom algoritmu i obratno. Modularnost te činjenica da je pristup bio u stanju premostiti razlike koje su postojale u različitim disciplinama u kojima se analiza uzoraka koristila, pružili su nam je jedinstveni alat za rad nad podacima svih tipova, bili oni vektori, skupovi, stringovi ili čak neki složeni oblik podatka. U prvom poglavlju opisali smo problem te smo naveli matematičke definicije koje smo koristili u daljnjem tekstu radi njegovog lakšeg razumijevanja. U drugom poglavlju smo najprije kroz konkretan primjer uveli pojam jezgrinih funkcija. Vidjeli smo kako smo pomoću njih mogli pronaći linearne relacije u nekom konačnom skupu podataka te smo saznali koje su prednosti njihovog korištenja. Zatim smo napravili klasifikaciju jezgrinih funkcija prema tipu podataka za koji su predviđene. U trećem poglavlju opisali smo efikasne algoritme učenja za probleme otkrivanja noviteta, klasifikacije i regresije koji su bazirani na potpornim vektorima. U četvrtom poglavlju implementirali smo dva algoritma za klasifikaciju s dvije različite jezgre, te smo ih primijenili za problem kategorizacije teksta. Iz dobivenih razultata zaključili smo kako robusnost algoritma itekako utječe na uspješnost klasifikacije. Robusniji algoritam je bio daleko uspješniji. Vidjeli smo kako su izbor jezgri i odabir njihovih parametara također utjecali na uspješnost algoritama.

Abstract (english)

Pattern analysis is an integral part of many scientific disciplines such as machine learning, data mining, statistics and bioinformatics. In this thesis, we have observed how to apply kernel methods in different learning algorithms and how to find patterns between data. We have seen that such approach is modular, any kernel method can be combined with any algorithm and vice versa. The modularity and the fact that the approach was able to bridge the gaps that existed between the different disciplines in which pattern analysis is used, have provided us with a unique tool for working on data of all types, whether they are vectors, sets, strings, or even a complex form of data. In the first chapter we have described the problem and we have outlined the mathematical definitions we have used in the following text to make it easier to understand. In the second chapter we introduced the term kernel method in a concrete example. We’ve seen how to find linear relations in some finite data set, and we’ve seen the benefits of using them. Then we’ve made the classification of the kernel methods according to the type of data they are intended for. In the third chapter, we have described efficient learning algorithms for novelty detection, classification and regression based on the support vectors. In the fourth chapter, we implemented two classification algorithms with two different kernels and applied them to the problem of text categorization. From the obtained results, we concluded that the robustness of the algorithm greatly influences the success of the classification. A more robust algorithm was far more successful. We have seen that the choice of the kernels and the selection of their parameters also influenced the success of algorithms.

• Keywords: analiza uzoraka; jezgrine funkcije; algoritmi za učenje; modularnost
• Keywords (english): pattern analysis; kernel methods; learning algorithms; modularity
• Language: croatian
• URN:NBN: urn:nbn:hr:217:751392
• Study programme: Title: Computer Science and Mathematics; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra računarstva i matematike (magistar/magistra računarstva i matematike)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2017-12-11 12:21:46