Testet chatbot på universitetseksamen: − A-besvarelse

UiO-professoren lot seg forbause over hvor godt chatboten besvarte noen av oppgavene – men advarer mot å tilpasse eksamen for mye.

På Universitetet i Oslo skal professor Jan Tore Lønning snart holde introduksjonsforelesning for et par hundre studenter i et emne om kunstig intelligens og maskinlæring.

Studentene hans er kanskje over gjennomsnittet interessert i AI-teknologi, men også de har latt seg imponere over nivået på vinterens tek-snakkis ChatGPT.

– Er det noen av dere som ikke har hørt om ChatGPT, spør Lønning studentene som har møtt opp i auditoriet i Forskningsparken denne mandagen.

Ingen rekker opp hånden. Det gjør imidlertid det store flertallet når professoren spør om de har prøvd chatboten.

Disse studentene skal ha eksamen under tilsyn, uten bruk av hjelpemidler, og kan derfor ikke la seg friste til å bruke chatboten til å hjelpe seg.

Men de skal også løse oppgaver på egen hånd gjennom semesteret. Da kan teknologien by på problemer for de som skal formulere oppgavene.

– De store diskusjonene om dette har vi kanskje ikke hatt ennå, men det kan bli en utfordring dette semesteret at de vurderingsøvelsene vi har brukt, ikke kan brukes lenger, sier Lønning til VG, og legger til:

– Noe av det ChatGPT er veldig god til, er å lage et godt språk. Den lager tekster som er forbausende gode, og det er jo en utfordring.

Lønning mener sammenligningen noen har gjort mellom chatboten og kalkulatoren er upresis.

– En bedre sammenligning er kanskje oversettelsesprogrammer, sier han.

– Du kan ikke måle hvor gode noen er i fransk ved å gi dem i oppgave å skrive en stil hvis de kan bruke et oversettelsesprogram til å skrive stilen for seg.

– Trent på dumt mye data

To av studentene som får med seg dagens forelesning, er Oskar Våle (22) fra Arendal og Bendik Berg (23) fra Tønsberg. De studerer informatikk og språkteknologi, og er ferdige med bachelorgraden denne våren.

Begge har testet ChatGPT – og er imponert over teknologien.

– Den er utrolig, sier Berg, og legger til:

– Den har en fin balanse mellom å gjenta det du spør om og bidra med ny informasjon, uten å komme med meninger.

– Ja, den er jo trent på så dumt mye data at det ikke er gøy engang, sier Våle.

Selv har han prøvd å bruke den i jobben sin i et tek-selskap.

– Jeg tør ikke bruke koden den gir meg fordi jeg ikke vet hvor den har den fra, men jeg kan i hvert fall ta litt inspirasjon.

Testet eksamensoppgaver på chatboten

Under pandemien kunne ikke studentene møte til fysisk eksamen, og Lønning og kollegene måtte derfor lage eksamener de kunne løse hjemme – med tilgang på hjelpemidler.

– Vi prøvde å lage eksamensoppgaver hvor studentene måtte resonnere selv, sier Lønning.

Men da han i desember testet å bruke ChatGPT til å løse oppgavene fra hjemmeeksamenen, viste det seg at den gjorde det overraskende bra.

– Vi kunne ikke gjennomført den samme type hjemmeeksamen etter at ChatGPT kom, sier han.

– Ville den bestått?

– Det er litt vanskelig å si, for noen av oppgavene som inneholdt figurer og slike ting kunne jeg ikke gi den. Men andre oppgaver løste den helt perfekt.

– Så de oppgavene, isolert sett, ville fått en god karakter?

– Ja, det var snakk om en A-besvarelse.

– Hva tenker du om det?

– Det er imponerende. Jeg var overrasket over hvor bra den gjorde det.

Uklarhet om fusk

Det finnes allerede programmer som kan avdekke om en tekst er generert av en chatbot. Aftenposten skrev forrige uke om verktøyet GPTZero. Avisen hadde testet det på flere tekster, og skriver at den i alle tilfeller bedømte de AI-genererte tekstene som maskinskapte.

Foreløpig har ikke Lønning testet GPTZero. Han tror det kan være nyttig for å avdekke noen former for bruk av teknologien, men ikke alle.

– De vil jo kunne avdekke at teknologien er brukt der du har fått den til å skrive et fullstendig svar, men det finnes jo andre måter å bruke dette på som kan være til nytte, og som ikke vil oppdages av plagiatprogrammer, sier han.

– Hvis jeg bruker den til å skrive en kode, vil ikke programmet kunne si om koden er laget av en chatbot eller et menneske.

VG har spurt norske universiteter og høyskoler om hvordan de forholder seg til problematikken. Noen svarer at all bruk av chatbot anses som fusk, mens andre mener det kommer an på rammene rundt eksamenen.

Lønning er ikke overbevist om at bruken av ChatGPT på en eksamen hvor det er lov å bruke hjelpemidler, kan klassifiseres som fusk.

– Dette er et redskap, ikke en person. Det er ikke lov å samarbeide eller få hjelp av andre personer til å skrive en eksamen. Men selv om vi kaller ChatGPT en robot, er den ikke en person. Den er et dataverktøy, sier han.

– Det er veldig uklart hvem som egentlig eier teksten ChatGPT genererer. Er det de som har skrevet programmet, eller er det meg som bruker det som eier teksten?

Likevel tror Lønning at studenter kan gå i andre feller ved å lene seg på hjelp fra roboten.

– Man kan bli tatt for å ikke sitere kilder riktig. Folk har prøvd å få chatboten til å lage referanser, men da bare finner den på ting. Fordi den klipper og limer, kan den komme opp med referanser til artikler som ikke finnes.

Frykter feil i svar

Studentene Berg og Våle sier at de ikke ville turt å bruke chatboten til å fuske på eksamen, men tror det er en fare for at andre vil gjøre det.

– Jeg ville vært mest redd for at den tar feil. Det er jo ikke gitt at det en forteller er sant, sier Berg, og legger til:

– Den tolker ting, og den er basert på regler som er skrevet av folk som ikke er veldig mye smartere enn oss andre. Det er viktig å huske på, alle digitale greier er laget av mennesker.

Professor Lønning advarer mot å tilpasse skole og utdanning for mye til ChatGPT.

– Det som er helt sikkert, er at dette ikke er slutten på en utvikling. For tre måneder siden hadde vi ikke engang hørt om ChatGPT, og om to år er det historie. Da er det noe helt annet som gjelder, sier Lønning.

Han vil ikke spå om fremtiden for teknologiutviklingen.

– Men vi kan vel bare anta at det kommer programmer som vil være enda flinkere til å gjøre en del av disse oppgavene.

– Tror du det blir utfordrende for norsk skole å henge med i utviklingen når den går i det tempoet den gjør i dag?

– Hvis man skal tilpasse skolen veldig mye, så blir det utfordrende.

Se video: Norsklærer Ingvild Idås får en oppgave skrevet av chatboten, men hvilken karakter blir det?