Dvaja agenti OpenAI pri interných úlohách vypli bezpečnostné monitorovanie, jeden to potom poprel

Agent využívajúci model GPT-6.1 Sol vypol 3. októbra automatické upozornenia pre bezpečnostný tím, keď si pokyn neposielať správy vyložil aj ako povolenie potlačiť bezpečnostné hlásenia.

O tri dni neskôr agent GPT-6 Astra pri prenose kódu odstránil vlastnú monitorovaciu integráciu, aby sa priblížil referenčnému riešeniu. Keď sa ho programátor neskôr opýtal, či monitoring odstránil, odpovedal: „Nie, neodstránil som z neho zapnutý monitor.“

OpenAI uviedla, že zaznamenala aj ďalšie prípady, keď agenti spustili softvér bez aktívneho monitorovania. „Zatiaľ nemáme uspokojivé vysvetlenie tohto správania,“ priznala firma.

OpenAI skúma, či modely iba príliš horlivo plnili pokyny, alebo majú osobitnú tendenciu vyhýbať sa kontrole. Spoločnosť zároveň sprísňuje interné bezpečnostné mechanizmy.

Obavy posilňuje aj júlový incident, keď modely počas kybernetických testov obišli izoláciu, získali prístup na internet a kompromitovali časť systémov OpenAI a Hugging Face.