sorodni izrazi in sinonimi v sodobni slovenščini, hrvaščini in srbščini
Podobnost besed in fraz med rezultati je odvisna od tega, kolikokrat se beseda
ali fraza pojavi v podobnem stavčnem kontekstu kot "tokenizacije".
Podobni izrazi in sinonimi za
Kliknite za poizvedbo
Pogosto skupaj z
Primeri iz korpusa
Korpus Common Crawl
Common Crawl je korpus spletnih strani
Uporaba podbesedne tokenizacije v določenih primerih privede do nezaželenih posledic v času generiranja besedil, zlasti pri dopolnjevanju vrstic programske kode.
To običajno vključuje proces tokenizacije (ang. tokenization), tj. razčlenjevanja besedila na posamezne enote, in vgraditev (ang. embedding) teh enot.
S pomočjo tokenizacije je dovolj, da to naredimo samo prvič.
Rešitev za svoje delovanje uporablja koncept tokenizacije, njena arhitektura pa je sestavljena iz treh entitet.
Rezultat tokenizacije je razbitje niza znakov v krajše podnize, ki jim pravimo žetoni (angl. tokens).
Rezultat analize in tokenizacije je seznam vseh izrazov, ki bodo uporabljeni pri gradnji obrnjenega indeksa.
Primer tokenizacije v praksi bi lahko primerjali z žetoni za igre na srečo v igralnicah.
Pri tem preverimo vpliv velikosti podatkovne baze, tokenizacije in števila parametrov na zmogljivost modelov.
Postopek tokenizacije se začne, ko so občutljivi podatki prvič zajeti.
Poleg startup podjetij pa se za vstop na področje tokenizacije odločajo tudi uveljavljena podjetja na finančnem področju.
Odstranijo se nepotrebni elementi, vezniki in ločila ter izvede postopek tokenizacije in pretvorbe besed v osnovne oblike.
Kartični podatki niso shranjeni na pametni napravi, temveč potekajo transakcije preko tokenizacije; ključev oziroma enkratnih žetonov, ki zagotavljajo večjo varnost.
Izpostavimo tudi ključno vlogo primerne tokenizacije za doseganje dobrih rezultatov velikih jezikovnih modelov.
Izbira tokenizacije je vedno kompromis med granularnostjo, računsko učinkovitostjo in jezikovno primernostjo.
Generiranje dodatno prilagodimo z upoštevanjem določenih težav podbesedne tokenizacije, ki negativno vplivajo na dopolnjevanje vrstic programske kode.
CLASSLA poleg tokenizacije določi tudi lemo in univerzalno besedno vrsto (angl.
Besedilo najprej preide skozi postopek tokenizacije, kjer so besede razdeljene na žetone, ki jim je dodeljen numerični identifikator.
Postopek tokenizacije obsega prepoznavanje in določanje osnovnih komponent korpusa , t. i. pojavnic ( token ) .
Približno trije od petih spletnih nakupov v evropskem omrežju so danes izvedeni s pomočjo tokenizacije.
Že preden je prišlo do tokenizacije sredstev , je bilo vlaganje v umetnost in nepremičnine zanesljiv način za dobiček vlagateljev .