Nový typ útokov v AI: OpenAI sa vymkla kontrole

Dvojica AI modelov od spoločnosti OpenAI sa dostala mimo izolovaného testovacieho prostredia, získala prístup na internet a následne kompromitovala časť  infraštruktúry spoločnosti Hugging Face, píše portál Živé.

OpenAI, tvorca modelu ChatGPT, označuje incident za bezprecedentný, ako uviedla spoločnosť aj na svojom webe. Podľa nej za incidentom stála kombinácia modelu GPT-5.6 Sol a ešte výkonnejšieho nezverejneného modelu. Avšak išlo o jeden agentný systém využívajúci súčasne dva rôzne modely. Oba boli počas interného hodnotenia spustené s obmedzenými bezpečnostnými ochranami pre kybernetické úlohy, aby bolo možné zmerať ich maximálne schopnosti bez produkčných ochranných mechanizmov.

Spoločnosť Hugging Face útok potvrdila a publikovala vlastnú technickú analýzu.

Clement Delangue, spoluzakladateľ spoločnosti Hugging Face, v príspevku na sieti X napísal, že jeho spoločnosť mala podozrenie, že útok mohol pochádzať z niektorého z popredných laboratórií umelej inteligencie, vzhľadom na schopnosti agenta. „A ukázalo sa, že to tak naozaj bolo!,“ napísal. „Je naozaj ohromujúce, že sa to všetko odohralo autonómne!,“ dodal.

Spoločnosť uviedla, že nenašla dôkazy o manipulácii s internými dátami a podľa doterajších zistení zostal neporušený aj softvérový dodávateľský reťazec. Vyšetrovanie incidentu neprinieslo žiadne dôkazy o tom, že by cieľom bolo poškodenie samotného Hugging Face.

Portál dodáva, že Hugging Face je jedna z najvýznamnejších platforiem pre vývoj umelej inteligencie, často označovaná ako „GitHub pre AI“, kde vývojári a firmy zverejňujú modely, datasety, zdrojové kódy aj výskumné projekty. Svoje modely alebo projekty na nej publikujú aj popredné spoločnosti a výskumné laboratóriá vrátane Mety, Microsoftu, Google či OpenAI. Hugging Face je platforma slúžiaca na prepojenie veľkých jazykových modelov s otvoreným zdrojovým kódom a dátových súborov. V komunite kybernetickej bezpečnosti vzbudila pozornosť, keď minulý týždeň na svojom blogu oznámila, že sa stala terčom kybernetického útoku, ktorý bol „odlišný od všetkého, s čím sme sa doteraz stretli“, pretože „ho od začiatku až do konca riadil autonómny systém agentov umelej inteligencie“.

Portál píše, že odkedy boli spustené v izolovanom prostredí s výrazne obmedzeným prístupom na internet. „Mohli iba sťahovať softvérové balíky potrebné na testovanie, pričom všetka komunikácia smerovala cez interný server OpenAI, ktorý slúžil ako sprostredkovateľ,“ uvádza.

Spoločnosť OpenAI však vysvetlila, že model objavil dovtedy neznámu (takzvanú zero-day) zraniteľnosť práve v tomto internom serveri firmy. Táto „medzeru“ následne zneužil na to, aby získal širší prístup. Firma, keď chybu spozorovala, nahlásila ju dodávateľovi softvéru.

To nemení nič na fakte, že sa OpenAI dostala k interným informáciám firmy Hugging Face.

Hugging Face spresnilo, že útočník sa do firemnej infraštruktúry dostal zneužitím dvoch dovtedy existujúcich slabín v systéme na spracovanie dát. Tie mu umožnili spustiť vlastný kód na jeho serveri.

Po prvom útoku AI modely získali prístupové údaje – a to k ďalším interným systémom a postupne rozširovali svoje oprávnenia. Nasledujúce dni sa dostali do viacerých častí infraštruktúry.

Spoločnosť Hugging Face uvádza, že celá operácia pozostávala z desiatok tisíc autonómnych krokov vykonaných veľkým počtom krátkodobo fungujúcich AI agentov. „Z toho vyplýva, že GPT-5.6 Sol a nezverejnený model od OpenAI boli akési „mozgy“ systému, ktoré rozhodovali a plánovali. Podľa potreby si vytvárali a rušili jednotlivých AI agentov, ktorým zadávali konkrétne úlohy. Títo agenti spolupracovali a priebežne menili infraštruktúru Hugging Face,“ cituje portál.

OpenAI tvrdí, že počas takýchto testov zámerne vypína časť ochranných mechanizmov, ktoré modelom bežne bránia vykonávať rizikové kybernetické aktivity. Cieľom je zistiť ich skutočné schopnosti v kontrolovanom prostredí.

Avšak vyšetrovanie ukázalo, že model sa vôbec nesnažil útočiť na konkrétnu firmu. Jeho cieľom bolo tento proces otestovať.

„Pri hľadaní možných zdrojov údajov usúdil, že potrebné informácie by mohli byť uložené na infraštruktúre Hugging Face, na ktorej sa nachádzajú datasety aj ďalšie zdroje využívané komunitou vývojárov,“ cituje zdroj.

Kongresman Greg Casar z amerického státu Texas (Demokrat) označil incident za znepokojivý. „Umelá inteligencia sa vyvíja mimoriadne rýchlo a neexistujú žiadne skutočné regulácie, ktoré by nás chránili,“ uviedol vo svojom vyhlásení. Zároveň vyzval k povinnému nezávislému testovaniu bezpečnosti, povinnému zverejňovaniu bezpečnostných incidentov a medzinárodnej spolupráci, ktorá by „ochránila ľudí pred totálnou katastrofou“.