Multimodalna predikcija za tabelarne podatke sa tekstualnim poljima zasnovana na transformerima

Abstrakt

Tema ovog rada je korišćenje metoda i modela mašinskog i dubokog učenja u rešavanju zadatka predikcije na strukturiranim tabelarnim podacima koji uključuju tekstualna polja. Svrha rada je poboljšanje rezultata metoda koji su se pokazali najbolji u radu sa tabelarnim podacima (ansambli stabala odlučivanja / regresije), uključivanjem metoda koji su se pokazali najbolji u radu sa sekvencama i tekstom (transformer modeli dubokog učenja zasnovani na mehanizmu pažnje). Takođe, nekoliko klasičnih metoda mašinskog učenja i obrade teksta će se koristiti za referenciranje i poređenje.

Ključne reči: DistilBERT, Duboko učenje, Linearna regresija, Mehanizam pažnje, Obrada prirodnog jezika transformerskom neuralnom mrežom, PCA, Random forest regresija, Transformerske neuralne mreže, Učenje u ansamblu, XGBoost

Objavljen na sajtu: 3.7.2023

Priloženi fajl: amicic.pdf