Når AI-agenter tror, at andre agenter bryder reglerne, gør de det selv. Det viser et forsøg fra Check Point Research, hvor andelen af regelbrud steg fra 44 til 98 procent. En AI-agent skulle løse en opgave i en simuleret økonomiafdeling, men havde fået besked på ikke at åbne en bestemt mappe. Samtidig kunne den læse […]
Når AI-agenter tror, at andre agenter bryder reglerne, gør de det selv. Det viser et forsøg fra Check Point Research, hvor andelen af regelbrud steg fra 44 til 98 procent.
En AI-agent skulle løse en opgave i en simuleret økonomiafdeling, men havde fået besked på ikke at åbne en bestemt mappe. Samtidig kunne den læse beskeder fra ti andre agenter, skrevet på forhånd af forskerne. Efter at have set fire agenter bryde reglerne åbnede den mappen i 74 procent af forsøgene. Efter otte af ti var det 98 procent.
”Det minder om den flokmentalitet, vi kender fra mennesker. Det er nok, at agenten får indtryk af, at de andre selv har gjort det,” siger Balder Borup fra Check Point.
Agenten sagde heller ikke, hvorfor. I mere end 400 regelbrud nævnte den ikke de andre agenter en eneste gang.
Ifølge Balder Borup er det ikke nok at skrive reglerne i instrukserne. Virksomheder skal også have tekniske begrænsninger, der blokerer for adgang.