Forskere på University of California San Diego har brugt videospillet Super Mario Bros til at benchmarke fire AI-modeller.
Menneskeheden prøver at blive klogere på, hvad AI kan, og hvilke begrænsninger teknologien har.
I skrivende stund har AI-generede artikler for eksempel sine udfordringer, men hvordan klarer AI sig, når den skal spille Super Mario Bros?
Det har forskere på Hao AI Lab, der hører til University of Califorania San Diego, sat sig for at finde ud af. Det fremgår af en artikel hos Techcrunch.
Det er vigtigt at påpege, at forskerne ikke testede AI-modellerne i præcis den samme Super Mario Bros version som dén, der blev lanceret tilbage i 1985.
Sådan gik det
Hao AI Lab-holdet smed konkret de fire forskellige AI-modeller – Claude 3.7, Claude 3.5, Gemini 1.5 Pro samt GPT-4o – ind i Super Mario-spillet med simple prompts. Eksempelvis denne:
”Hvis en forhindring eller fjende er i nærheden, flyt/hop til venstre for at undvige.”
Anthropics Claude 3.7 var den bedste, Anthropics mens Claude 3.5 var den næstbedste. Herefter kom Googles Gemini 1.5 Pro, mens OpenAis GPT-4o var den dårligste af AI-modellerne.
Hvad kan det bruges til?
Super Mario Bros-spillet var med til at lære AI-modellerne at planlægge manøvrer og udvikle spilstrategier, men forskerne så også nogle begrænsninger. AI-modellerne var generelt set lidt langsomme til at beslutte sig for manøvrer, hvilket er en ulempe i Super Mario Bros, hvor timing er en nødvendighed.
Dertil er det værd at nævne, at det kan svære svært at afgøre, hvorvidt resultaterne reelt set kan bruges til noget. Spil er nemlig, i modsætning til den virkelige verden, abstrakte og forholdsvis simple, og de giver teoretisk set uendelig data at træne på.
