Učenje s potporom u optimalnom oblikovanju struktura

master's thesis

• Title (english): Learning with support in the optimal design of structures
• Author: Mislav Stojanović
• Mentor: Luka Grubišić (mentor)
• Committee member: Luka Grubišić (predsjednik povjerenstva)
• Committee member: Josip Tambača (član povjerenstva)
• Committee member: Ozren Perše (član povjerenstva)
• Committee member: Goran Igaly (član povjerenstva)
• Granter: University of Zagreb; Faculty of Science; (Department of Mathematics); Zagreb
• Defense date and country: 2023-09-27, Croatia
• Scientific / art field, discipline and subdiscipline: NATURAL SCIENCES; Mathematics

Abstract

U ovom radu predstavljeni su neki osnovni pojmovi učenja s potporom i dubokog učenja s potporom. Zatim je formuliran problem adaptacije po dijelovima polinomijalnih funkcija koje aproksimiraju rješenje parcijalnih diferencijalnih jednadžbi kao Markovljev proces odlučivanja. Prikazani su rezultati uporabe nekih algoritama dubokog učenja s potporom na problem adaptacije mreže konačnih elemenata u kontekstu numeričkog rješavanja parcijalnih diferencijalnih jednadžbi metodom konačnih elemenata. Odstupanje od glatkoće koja se želi postići u rješenju predstavljena je razlikama u rješenjima na granici izmedu dva elementa mreže konačnih elemenata. Osim toga, značajka je iskorištenost dostupnih računalnih resursa vezana uz maksimalni dozvoljeni broj elemenata. Odluke se donose za pojedine elemente na temelju opažanja koje je djelomično i koncentrirano na lokalne aproksimacije. Uvedena je nužna teorija za postavljanje problema na metričkom grafu. Primjeri problema čija su rješenja demonstrirana su parcijalne diferencijalne jednadžbe u jednoj dimenziji, te na metričkom grafu. Koristi se Actor-Critic algoritam na djelomično uočljivom Markovljevom procesu odlučivanja. Dan je osvrt i na pretraživanje stabla Monte Carlo metodom i algoritam MuZero te njegove moguće primjene u rješavanju navedenih i sličnih optimizacijskih problema. Također, istaknuta je sličnost izmedu opisanih problema i problema diskretne optimizacije. Tako se pojavljuje moguÂcnost primjene geometrijskog dubokog učenja kojim su postignuti rezultati na zadacima opisanim strukturiranim podacima.

Abstract (english)

In this master thesis some basic concepts of reinforcement learning and deep reinforcement learning are presented. Then the problem of adapting piecewise polynomial functions which are used to approximate the solution of partial differential equations as a Markov decision process is formulated. Results of using some algorithms of deep reinforcement learning to solve the adaptive mesh refinement in the context of numerically solving partially differential equations using the finite element method are demonstrated. The goal is to obtain smooth solutions, and lack of smoothness is measured through the difference between solutions at the boundary which the corresponding elements share. Other than that, a feature of the state is the current usage of available computation resources, meaning there is a predetermined maximum number of allowed elements. Decisions are made for individual elements based on the observation which is partial and focused on local approximations. Necessary theory required to pose the problem of metric graphs is introduced. Examples we used are partial differential equations in one dimension, and on a metric graph. Actor-Critic algorithm is used on a partially observable Markov decision process. Also, a description of Monte Carlo tree search and the MuZero algorithm and their possible applications in solving mentioned optimization problems is given. Also, the similarity between described problems and discrete optimization problems is covered. That brings about the possibility of applying geometric deep learning, as it has shown promise in solving tasks represented by structured data

• Keywords: duboko učenje s potporom; Markovljev proces odlučivanja; Actor-Critic algoritam; Monte Carlo metoda; algoritam MuZero
• Keywords (english): deep reinforcement learning; Markov decision process; Actor-Critic algorithm; Monte Carlo tree; MuZero
• Language: croatian
• URN:NBN: urn:nbn:hr:217:509866
• Study programme: Title: Computer Science and Mathematics; Study programme type: university; Study level: graduate; Academic / professional title: sveučilišni magistar računarstva i matematike (sveučilišni magistar računarstva i matematike)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-02-06 11:16:07