Store språkmodeller, slik som den ChatGPT er bygget på, har potensial til å være et kjekt verktøy for forskere. De kan få tips til relevante studier eller hjelp med gode formuleringer.
Men kan slike store språkmodeller også bidra til å drive forskningen videre ved å komme med interessante ideer?
Dette har tre forskere ved Stanford University undersøkt.
Studien omtales i en nyhetsartikkel i Nature. Den er forhåndspublisert, men er ikke publisert i et vitenskapelig tidsskrift ennå.
Fikk med seg over 100 eksperter
Forskerne rekrutterte over 100 eksperter på naturlig språkbehandling. Dette er et felt innen informatikk som handler om å gi datamaskiner evne til å forstå menneskelig språk.
49 av deltakerne fikk betalt for å levere inn en forskningsidé om ett av sju temaer i løpet av ti dager.
Forskerne brukte en kunstig intelligens til å generere ideer om de samme temaene.
79 eksperter vurderte ideene. De fikk ikke vite hvem som stod bak. Kriteriene de så på, var hvor nyskapende, spennende, gjennomførbart og effektivt forskningsprosjektet ville vært.
Mer nyskapende
KI kom godt ut av sammenligningen.
Det var jevnt, men til sammen ble de KI-genererte ideene vurdert som mer nyskapende og litt mer spennende. De fikk litt dårligere score for gjennomførbarhet.
For å produsere KI-ideene, laget forskerne en idé-generator med den store språkmodellen Claude 3.5.
Modellen søkte etter relevante studier og kom med 4.000 forslag til de sju temaene. KI-en markerte ut de mest originale.
Ekspertene bidro med sine forslag.
Det er mulig å kjenne igjen tekst laget av kunstig intelligens på stilen. Forskerne kjørte derfor alle forslagene igjennom en annen KI som gjorde tonen og språket likt, uten å endre ideen.
Mindre gjennomførbart
Selv om KI-svarene ble vurdert som litt mer nyskapende, var det svakheter med modellen.
Forskerne fant ut at blant de 4.000 ideene, var det egentlig kun 200 som var forskjellige fra hverandre.
Det er også et spørsmål om hvorvidt sammenligningen ble helt rettferdig. Ekspertene kom kanskje ikke med sine aller beste ideer. De fleste fant på ideen på sparket. Noen hadde den i hodet fra før.
Ekspertene vurderte selv at ideen de kom med, var middels god sammenlignet med tidligere prosjekter de hadde jobbet med.
Forskerne så på kommentarer fra gruppen som vurderte forslagene.
Typiske svakheter ved KI-ideene var blant annet at de var vage når det gjaldt detaljer for gjennomføring, bygget på urealistiske antagelser og var for ressurskrevende.
Typiske styrker og svakheter ved svarene fra menneskene var at ideene var bedre forankret i eksisterende forskning, men mindre innovative og at de oftere dreide seg om vanlige problemer.
– Trengs mer arbeid
Studien er et av de mest omfattende forsøkene på å finne ut om store språkmodeller kan skape innovative forskningsideer, sier Tom Hope, informatiker ved Allen Institute for AI i Jerusalem, til Nature.
– Mer arbeid som dette trengs, sier Hope.
Studien tyder på at KI kan lage ideer som er litt mer originale enn de som finnes i forskningslitteraturen, sier Cong Lu ved University of British Columbia i Canada.
Men det er fortsatt et spørsmål om KI kan overgå de banebrytende ideene som noen ganger kommer fra mennesker.
Kan ikke erstatte menneskelig kreativitet
Annonse
Simone Grassini ved Universitetet i Bergen har tidligere sammenlignet mennesker og Chat GPT i en test som kan si noe om kreativitet.
Også i denne testen gjorde KI det bedre enn mennesker. Poenget var å komme på mest mulig originale bruksområder for en vanlig gjenstand.
Men kunstig intelligens kan ikke erstatte menneskelig kreativitet, påpekte forskerne Martha Norberg Hovd og Kjell Jørgen Hole tidligere i en kronikk på forskning.no.
En kan skille mellom to typer kreativitet.
Man kan skape originale ideer ved å modifisere og kombinere allerede kjente ideer.
Eller man kan komme med radikalt nye ideer, som går ut over det som er kjent fra før.
KI er begrenset til å finne på ting ved å kombinere informasjon fra treningsdataene sine. En bildegenerator kan for eksempel lage bilder i samme stil som Matisse eller van Gogh, men den kan ikke lage bilder i en radikalt ny stil, skrev forskerne.
KI kan ikke oppnå «menneskers banebrytende transformative kreativitet».
