Diplomová práca

Názov práce:    Metódy transformérov a ich aplikácia v oblasti textovej analýzy

Vedúci práce:   RNDr. Šimon Horvát, PhD.

Konzultant:      doc. RNDr. Ľubomír Antoni, PhD.

Ciele

  1. Spracovať prehľad nových metód neurónových sietí, transformérov, popísať ich princípy a oblasti ich súčasného využitia.
  2. Implementovať metódy neurónovej siete založenej na transforméroch na tréning pomocou vybraných dátových súborov.
  3. Otestovať natrénovaný model vo vybranej aplikačnej oblasti.
  4. Porovnať dosiahnuté výsledky s inými dostupnými štúdiami.

Odporúčaná literatúra

  1. Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).
  2. Tunstall, L., Von Werra, L., & Wolf, T. (2022). Natural language processing with transformers. " O'Reilly Media, Inc.".

Dokumenty