SloBERTa omogoča obdelavo naravnega jezika (NLP) za naloge, kot so klasifikacija besedil, iskanje po dokumentih, razumevanje pomena stavkov in vprašanja-odgovori.

Izmed vseh kandidatov za celo besedo, ki jih dobimo iz leksikona, nato s pomočjo modela SloBERTa izberemo najverjetnejšo smiselno besedo.

Zaradi te sposobnosti je model SloBERTa dobro orodje za analizo slovenskega besedila, analizo sentimenta in druge klasifikacijske besedilne naloge.

V vektorju, ki predstavlja pričakovan izhod modela SloBERTa, pri tokenizaciji pravilne verzije besede prav tako upoštevamo pričakovano dolžino besede.

Model, razpristranjen na prvi plasti na nivoju žetona, nalogo klasifikacije sentimenta vseeno reši nekoliko slabše od originalnega modela SloBERTa.

Z osnovno metodo stavčne asociacije smo zaznali pristranost na originalnem modelu SloBERTA, česar ne potrdimo za druge metode.

V nadaljevanju predstavimo model SloBERTa namenjen popravljanju označenih besed ter pripravo učne množice, proces učenja in testiranja modela.

Metoda se je pri uporabi vložitev SloBERTa pretirano prilegla določenim relacijam in je zato slabo napovedovala preostale relacije.

V analizi se osredotočimo predvsem na jezikovni model SloBERTa, ki je vnaprej naučen na slovenskem standardnem jeziku.

Pričakujemo, da bosta modela, naučena na nestandardnem jeziku, bolj pristranska in vsebovala več stereotipov kot model SloBERTa.

Implementirali smo podporo za model SloBERTa v dani programski opremi in učne množice uporabili za razpristranjevanje modela.

Razlog za to pa po vsej verjetnosti leži v uspešnosti kontekstualnega kodiranja segmentov z modelom SloBERTa.

Mogoče bi bilo preizkusiti druge velike jezikovne modele, kot je SloBERTa, in pristope za izbiro hiperparametrov.

V tem poglavju predstavimo naš pristop odkrivanja stereotipov in pristranskosti v slovenskem jezikovnem modelu SloBERTa.

Modela sta bila naučena na pogovornem in slengovskem jeziku, arhitekturno pa sta enaka modelu SloBERTa.

Veliko slabše se odreže metoda z vložitvami SloBERTa, ki se pretirano prilagodi nekaj relacijam.

V poglavju opišemo proces priprave vhodov in postopek izpopolnjevanja modela SloBERTa za črkovanje besed.

Primer priprave končnega vhodnega in izhodnega vektorja v model SloBERTa prikažemo v spodnji tabeli.

Izpopolnjen model SloBERTa sprva evalviramo na testni množici, kjer imamo že označene napačne besede.

Besedila smo vdelali v vektorske predstavitve s pomočjo prednaučenega jezikovnega modela SloBERTa, ki je javno dostopen na [124].