Nu bruges også Pokémon til at sammenligne forskellige AI-modeller. Vi har tidligere skrevet, at forskere på Hao AI Lab, der hører under University of California San Diego, har benyttet videospillet Super Mario Bros til at benchmarke fire AI-modeller. Men nu er det ikoniske Pokémon-videospil også blevet fanget af glubske personer, der vil forstå, hvad AI-modellerne […]
Nu bruges også Pokémon til at sammenligne forskellige AI-modeller.
Vi har tidligere skrevet, at forskere på Hao AI Lab, der hører under University of California San Diego, har benyttet videospillet Super Mario Bros til at benchmarke fire AI-modeller.
Men nu er det ikoniske Pokémon-videospil også blevet fanget af glubske personer, der vil forstå, hvad AI-modellerne kan bruges til, og hvor gode de er i forhold til hinanden.
TechCrunch skriver nemlig, at et opslag på det sociale medie X, som desuden er gået viralt, hævder, Googles nyeste Gemini-model er kommet længere i Pokémon end Anthropics Claude-model.
Gemini-modellen skulle eftersigende være kommet til Lavender Town, hvorimod Claude-modellen har siddet fast ved Mount Moon siden slutningen af februar.
Fordel til Gemini
I TechCrunchs artikel fremgår det dog, at Gemini-modellen måske har haft lidt andre vilkår at arbejde under end Claude-modellen – vel og mære til fordel for Googles AI-model.
Brugere på Reddit har nemlig påpeget, at Gemini-modellen var udstyret med et brugerdefineret ’mini-kort’, som eftersigende skulle gøre det nemmere for modellen at identificere ’veje’ i spillet.
Derved skulle Gemini-modellen ikke bruge lige så meget tid på at analysere skærmbilleder, før modellen kunne foretage sine gameplay-beslutninger.
Det er dermed svært at komme med en entydig konklusion på denne Pokémon-benchmark, eftersom de to modeller har haft forskellige udgangspunkter.