Kokenut ohjelmoija tekee tilastojen mukaan 15-50 virhettä tuhatta koodiriviä kohti. Tekoälyä käytetään koodaamisessa jo yleisesti, mutta sen tuottama koodi ei ole vielä ammattikoodarin tasolla. Tähän halutaan muutos ja OpenAI on esitellyt kokonaan uuden mallin, joka tarkistaa tarkistaa ja korjaa tekoälyn tuottaman koodin bugeja.
OpenAI kertoo kouluttaneet GPT-4:ään perustuvan CriticGPT-mallin havaitsemaan ChatGPT:n tuottamassa koodissa olevat virheet. Yhtiön omien testien mukaan CriticGPT:n avulla koodaajat onnistuivat paremmin ilman apua 60 prosenttia ajasta.
Kun tekoälypäättelyssä edistytään ja mallin käyttäytymistä sadaaan paremmaksi, ChatGPT tarkentuu ja sen virheet muuttuvat hienovaraisemmiksi. Tämä voi vaikeuttaa tekoälykouluttajien havaitsemaan epätarkkuuksia. Tämän takia tarvitaan erillinen GPT-4-malilin perustuva työkalu havaitsemaan GPT-4:n generoimat koodivirheet.
CriticGPT:n ehdotukset eivät OpenAI:n mukaan aina ole oikeita, mutta ne voivat auttaa kouluttajia havaitsemaan paljon enemmän ongelmia mallin kirjoittamien vastausten avulla kuin ilman tekoälyn apua. Lisäksi kun koodarit käyttävät CriticGPT:tä, tekoäly lisää heidän taitojaan, mikä johtaa kattavampiin bugien löytämiseen.
CriticGPT on koulutettu pitkälti samalla tavoin kuin suosittu ChatGPT. Erona on se, että malliin on syötetty suuri määrä syötteitä, jotka sisälsivät virheitä, jotka mallin sitten piti löytää. Tekoälykouluttajat lisäsivät virheet manuaalisesti ChatGPT:n kirjoittamaan koodiin ja sen jälkeen malli opetettiin kirjoittamaan palautetta ikään kuin he olisivat löytäneet bugin.
OpenAI:n kokeissa havaittiin, että kouluttajat pitävät CriticGPT-bugianalyysiä parempana kuin ChatGPT:llä tehtyä virheentarkistusta 63 prosentissa tapauksista. Lisäksi CriticGPT auttaa vähentämään tekoälyn hallusinoimalla tuottamien bugien määrää.
