Líkan sem dómari

e. LLM-as-a-judge

Einnig kallað: LLM-as-a-judge, LLM as a judge

Aðferð þar sem eitt mállíkan metur svör annars eftir skilgreindum viðmiðum, t.d. í matsprófum.

Líkan sem dómari er aðferð við mat á gervigreind þar sem mállíkan fær svar, oft ásamt spurningunni og matsviðmiðum, og gefur því einkunn eða ber saman tvö svör. Aðferðin gerir kleift að meta mörg svör hratt þar sem sjálfvirkur samanburður við eitt rétt svar dugar ekki.

Dómaralíkön eru ekki hlutlaus. Þau geta tekið löng svör fram yfir stutt, látið röð svaranna hafa áhrif eða hyglað svörum frá sama líkani. Því þarf að bera mat þeirra reglulega saman við mat fólks.

Dæmi úr starfi

Tæknistjóri lætur mállíkan meta 300 svör spjallmennis fyrirtækisins eftir þremur viðmiðum: rétt, kurteis og innan reglna. Starfsfólk fer sjálft yfir 30 svör til að athuga hvort matið standist.

Tengd hugtök

Öll hugtök