Tókun

e. tokenization

Einnig kallað: tokenization, tokenizer, tókenun

Það að skipta texta í tóka, orð eða orðhluta, áður en mállíkan getur unnið úr honum.

Tókun er fyrsta skrefið þegar mállíkan tekur við texta. Textanum er skipt í tóka, sem geta verið heil orð, orðhlutar, stakir stafir eða greinarmerki, og hver tóki fær númer sem líkanið vinnur með. Hvert líkan hefur sínar eigin tókunarreglur.

Algeng ensk orð verða oft einn tóki, en íslensk orð skiptast gjarnan í fleiri hluta vegna beygingarendinga og sérstafa. Íslenskur texti tekur því yfirleitt fleiri tóka en enskur texti af sömu lengd, sem hefur áhrif á kostnað og á það hve mikið kemst í samhengisgluggann.

Dæmi úr starfi

Verkefnastjóri sem áætlar kostnað við að vinna úr handbók með mállíkani prófar tókun á einni síðu og sér að íslenska útgáfan notar mun fleiri tóka en sú enska.

Tengd hugtök

Ekkert námsefni er tengt þessu hugtaki enn.

Öll hugtök

Tókun (tokenization) | Hugtök