Diplomová práca

Metódy architektúr Transformer a ich aplikácia v oblasti textovej analýzy

Informácie o práci

Vedúci práce

RNDr. Šimon Horvát, PhD.

Konzultant

doc. RNDr. Ľubomír Antoni, PhD.

Dokumenty

🎯 Ciele práce

  • 1

    Spracovať prehľad nových metód neurónových sietí, modelov Transformer, popísať ich princípy a oblasti ich súčasného využitia.

  • 2

    Implementovať metódy neurónovej siete založenej na architektúre Transformer na tréning pomocou vybraných dátových súborov.

  • 3

    Otestovať natrénovaný model vo vybranej aplikačnej oblasti.

  • 4

    Porovnať dosiahnuté výsledky s inými dostupnými štúdiami.

📚 Odporúčaná literatúra

  • Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).
  • Tunstall, L., Von Werra, L., & Wolf, T. (2022). Natural language processing with transformers. "O'Reilly Media, Inc.".