Viimastel kuudel on OpenAI vestlusroboti vastused jäänud kesisemaks ning teadlased ei ole seni suutnud selle põhjust kindlaks teha.
Uuringus leidsid Stanfordi ja UC Berkeley teadlased, et ChatGPT uusimad mudelid on mõne kuu jooksul muutunud palju vähem suuteliseks andma täpseid vastuseid identsetele küsimustele. Uuringu autorid ei suutnud anda selget vastust, miks AI vestlusroboti võimalused on halvenenud.
Et testida, kui usaldusväärsed olid ChatGPT erinevad mudelid, palusid teadlased Lingjiao Chen, Matei Zaharia ja James Zou ChatGPT-3.5 ja ChatGPT-4 mudelitel lahendada rida matemaatikaülesandeid, vastata tundlikele küsimustele, kirjutada uusi koodiridu ja viia läbi ruumilisi arutlusi viipade alusel.
Uuringu kohaselt suutis ChatGPT-4 märtsis tuvastada algarvud 97,6 protsendilise täpsusega. Juunis läbi viidud samas testis oli GPT-4 täpsus langenud vaid 2,4 protsendini. Seevastu varasem GPT-3.5 mudel parandas algarvu tuvastamist sama aja jooksul.
Kui tegemist oli uute koodiridade genereerimisega, halvenes mõlema mudeli võime märtsist juunini oluliselt. Uuringus leiti ka, et ChatGPT vastused tundlikele küsimustele muutusid hiljem vastusest keeldumisel lakoonilisemaks.
Vestlusroti varasemad iteratsioonid pakkusid ulatuslikku põhjendust, miks see ei suutnud vastata teatud tundlikele küsimustele. Juunis aga keelemudelid lihtsalt vabandasid kasutaja ees ja keeldusid vastamast.
Allikas: Cointelegraph
