KV-skyndiminni

e. KV cache

Einnig kallað: KV cache, KV-skyndiminnið, KV-skyndiminninu

Minni sem geymir útreikninga mállíkans á fyrri tókum svo það þurfi ekki að reikna þá aftur fyrir hvern nýjan tóka.

KV-skyndiminni er hluti af því hvernig mállíkan býr til texta. Líkanið skrifar einn tóka í einu, og fyrir hvern tóka þarf athyglisvirknin lykla og gildi (á ensku keys og values, þaðan KV) fyrir allan textann á undan. Í stað þess að reikna þau aftur í hverju skrefi eru þau geymd í skyndiminni.

Þetta gerir svörun mun hraðari en tekur minnispláss sem vex með lengd textans. Skyndiminni fyrirmæla byggir á sömu hugmynd: upphaf fyrirmæla sem breytist ekki er geymt milli beiðna. Þess vegna borgar sig að hafa fasta hlutann fremst og það sem breytist aftast.

Dæmi úr starfi

Forritari sem keyrir mállíkan á eigin þjóni tekur eftir að minnisnotkun vex eftir því sem samtölin lengjast. Ástæðan er KV-skyndiminnið, sem stækkar með hverjum tóka.

Tengd hugtök

Ekkert námsefni er tengt þessu hugtaki enn.

Öll hugtök