Naslov Određivanje slijednosti teksta metodama dubokog učenja Autor Dinko Ždravac Mentor Tomislav Šmuc (mentor)Član povjerenstva Tomislav Šmuc (predsjednik povjerenstva)Član povjerenstva Zlatko Drmač (član povjerenstva)Član povjerenstva Miljenko Marušić (član povjerenstva)Član povjerenstva Dijana Ilišević (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Zagrebu Datum i država obrane 2018-11-28, Hrvatska Znanstveno / umjetničko PRIRODNE ZNANOSTI Sažetak U ovom radu obrađen je problem prepoznavanja slijednosti teksta, kao bitne komponente mnogih drugih problema obrade prirodnog jezika. Opisan je pristup rješavanju problema tehnikama dubokog učenja. Istaknute su prednosti modela dubokog učenja u odnosu na tradicionalno oblikovane modele strojnog učenja s ručnim probirom značajki. Izneseni su osnovni koncepti strojnog učenja potrebni za razumijevanje izloženog. Prezentirana su tri znanstvena rada koji predstavljaju najnovije tehnike rješavanja zadatka slijednosti. Radovi su razloženi po cjelinama, analizirani i uspoređeni međusobno. Time je pružen pregled suvremenih pristupa rješavanju problema slijednosti dubokim učenjem. Posljednji dio predstavlja praktičan aspekt rada, s programskom implementacijom prezentiranog ESIM modela, u drugom programskom okviru (Keras). Kao polazna korištena je tuđa implementacija bazirana na ESIM modelu, koja inicijalno nije bila usklađena s arhitekturom originalnog ESIM-a. Dorađena Keras ESIM implementacija usklađena je s arhitekturom originalnog ESIM-a te postiže rezultate blizu rezultata originalnog modela. Provedena je Bayesova optimizacija hiperparametara nad modelom, što je rezultiralo poboljšanjem performansi. Resultati optimizacije su predstavljeni i analizirani. Također, Bayesova optimizacija istaknula je doprinos pojedinih hiperparametara na uspjeh modela u odnosu na druge, što predstavlja dobru osnovu za nastavak rada nad ovim rezultatima. Model je testiran nad novo objavljenim skupom podataka velikog volumena, MNLI, te su postignuti rezultati blizu onima referentnog ESIM modela iz tog rada. Naposljetku, testiran je prijenos znanja modela na različite skupove i analizirani su rezultati po kategorijama. U usporedbi s referentnim modelom, ovdje korišten Keras ESIM postiže općenito tek nešto niže performanse, prestižući ga u nekim kategorijama. Također, pokazana su poboljšanja ESIM modela treniranog nad združenim MNLI i SNLI skupovima u odnosu na treniranje samo nad jednim skupom. Premda MNLI skup predstavlja bogat i raznolik skup za treniranje dubokih modela u odnosu na SNLI, pokazan je i značajan doprinos SNLI skupa performansama modela u odnosu na treniranje samo nad MNLI-em.
Sažetak (engleski) This thesis presents work on recognizing textual entailment (RTE), a relevant subtask for many other natural language processing tasks. Described herein is the approach using deep learning with emphasized benefits of using deep models in contrast to traditionally designed machine learning models using hand-crafted features. Basic concepts of machine learning are explained that are needed for the understanding of presented matter. Three scientific papers are presented which contain novel techniques for textual entailment recognition using deep learning models. The papers are explained, analysed and compared by parts, giving an overview of contemporary approaches to natural language inference using deep learning. The last part of the thesis represents the practical aspect of work, with an implementation of described ESIM model in a different framework (Keras). Existing implementation of said ESIM model was used as a starting point, which differed from the original code. After additional work of aligning that implementation with the original ESIM model code, resulting Keras ESIM achieved results close to the results of the original ESIM model and was used further on. Performance of the model was improved using Bayes optimization of hyperparameters, results of which were presented and analyzed. Beside improving results, Bayes optimization highlighted some hyperparameters as more contributing than others to the model performance, laying ground for further work upon these results. Model was also tested on newly released dataset for natural language inference, MNLI, achieving results comparable to reference ESIM model from MNLI paper. Lastly, knowledge transfer was tested across multiple datasets with results analyzed by category. Compared to the reference model, this thesis' Keras ESIM achieves only marginally lower performance across the board, even surpassing the reference ESIM in some categories. Also, jointly trained ESIM on a combination of MNLI and SNLI datasets shows performance improvements compared to a model trained on a single dataset. Despite MNLI being richer and more language diverse dataset for training deep models compared to SNLI, a significant improvement of performance is demonstrated using a combination of datasets, showing a contribution of SNLI corpus for model training.
Ključne riječi
problem prepoznavanja slijednosti teksta
obrada prirodnog jezika
duboko učenje
strojno učenje
ESIM model
Bayesova optimizacija
Ključne riječi (engleski)
recognizing textual entailment
RTE
natural language processing
deep learning
machine learning
ESIM model
Bayes optimization
Jezik hrvatski URN:NBN urn:nbn:hr:217:366777 Studijski program Naziv: Računarstvo i matematika Vrsta resursa Tekst Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Datum i vrijeme pohrane 2019-07-09 10:42:03
