Rauðliðaprófun

e. AI red teaming

Einnig kallað: AI red teaming, red teaming

Skipulagðar tilraunir til að fá gervigreindarkerfi til að bregðast, svo hægt sé að laga veikleikana.

Rauðliðaprófun er prófun þar sem rauðlið reynir markvisst að fá gervigreindarkerfi til að gera það sem það á ekki að gera: gefa skaðleg eða röng svör, leka gögnum, fara framhjá verndarreglum eða framkvæma óheimilar aðgerðir. Prófað er bæði handvirkt og með sjálfvirkum árásum, oft með flóttafyrirmælum og fyrirmælainnskoti.

Framleiðendur stórra líkana gera rauðliðaprófanir áður en ný líkön eru gefin út. Fyrirtæki sem byggja eigin lausnir á líkönum þurfa líka að prófa sína uppsetningu, því veikleikar geta legið í tengingum, gögnum og heimildum erindreka.

Dæmi úr starfi

Forritari prófar nýjan erindreka fyrirtækisins með því að fela fyrirmæli í skjali sem erindrekinn les og athugar hvort hann hlýði þeim í stað notandans.

Tengd hugtök

Öll hugtök