Spunagreind.is

Umbreytir

e. transformer

Einnig kallað: transformer

Gerð tauganets sem nær öll stór mállíkön byggja á. Hún notar athyglisvirkni til að tengja hvern tóka við allan textann.

Umbreytir, á ensku transformer, er gerð tauganets sem rannsakendur hjá Google kynntu árið 2017 í greininni „Attention Is All You Need“. Kjarni hans er athyglisvirkni sem metur hvernig hver tóki tengist öllum hinum tókunum í textanum, í stað þess að lesa textann orð fyrir orð.

Umbreytir er byggður úr mörgum lögum sem hvert vinnur nánar úr textanum. Hann er grunnurinn að mállíkönum eins og GPT, Claude og Gemini og er líka notaður í mynd- og talvinnslu.

Dæmi úr starfi

Kerfisstjóri sem velur á milli líkana les að þau byggi öll á umbreyti og skilur þá að munurinn liggur í stærð, þjálfunargögnum og fínstillingu, ekki grunnhönnuninni.

Tengd hugtök

Ekkert námsefni er tengt þessu hugtaki enn.

Öll hugtök