Мултимодална предикција за табеларне податке са текстуалним пољима заснована на трансформерима

Абстракт

Тема овог рада је коришћење метода и модела машинског и дубоког учења у решавању задатка предикције на структурираним табеларним подацима који укључују текстуална поља. Сврха рада је побољшање резултата метода који су се показали најбољи у раду са табеларним подацима (ансамбли стабала одлучивања / регресије), укључивањем метода који су се показали најбољи у раду са секвенцама и текстом (трансформер модели дубоког учења засновани на механизму пажње). Такође, неколико класичних метода машинског учења и обраде текста ће се користити за референцирање и поређење.

Кључне речи: DistilBERT, Дубоко учење, Линеарна регресија, Механизам пажње, Обрада природног језика трансформерском неуралном мрежом, PCA, Рандом форест регресија, Трансформерске неуралне мреже, Учење у ансамблу, XGBoost

Објављен на сајту: 3.7.2023

Приложени фајл: amicic.pdf