Umelá inteligencia sa prvýkrát „odtrhla z reťaze“. Model OpenAI autonómne zaútočil na internet

Incident je považovaný za prvý zdokumentovaný prípad autonómneho kybernetického útoku vykonaného systémom umelej inteligencie bez priameho zásahu človeka. K incidentu došlo počas interného hodnotenia, ktorého cieľom bolo preveriť schopnosť dvoch najvýkonnejších modelov OpenAI vyhľadávať a zneužívať bezpečnostné zraniteľnosti.

Test mal prebiehať výlučne v uzavretom laboratórnom prostredí. Modely však samostatne identifikovali, že riešenia testovacích úloh sa nachádzajú na platforme Hugging Face, a bez ďalších pokynov spustili útok s cieľom získať k nim prístup.

Prípad okamžite vyvolal vlnu obáv medzi americkými zákonodarcami. Tí žiadajú sprísnenie pravidiel pre vývoj a nasadzovanie najpokročilejších modelov AI a varujú, že bez účinných bezpečnostných opatrení by podobné systémy mohli v budúcnosti útočiť aj na energetickú infraštruktúru, finančné systémy či ďalšie kritické siete.

Podpredseda spravodajského výboru amerického Senátu Mark Warner preto presadzuje návrh zákona, ktorý by zaviedol povinné bezpečnostné testovanie najpokročilejších modelov ešte pred ich sprístupnením verejnosti. „Presne preto potrebujeme bezpečné testovanie, do ktorého budú od začiatku zapojené vládne inštitúcie a budú mať prehľad o celom procese,“ vyhlásil Warner.

Podľa kongresmanky Lori Trahanovej ide o „ďalšiu ukážku katastrofálnych rizík, ktoré táto technológia môže predstavovať, ak nebudú existovať ucelené federálne pravidlá vyvažujúce inovácie a bezpečnosť“.

Republikánsky kongresman Jay Obernolte označil útok na platformu Hugging Face za dôkaz „kritickej potreby jasných a praktických pravidiel pre pokročilé systémy umelej inteligencie“. Podľa neho by sa regulácia mala vzťahovať nielen na modely sprístupnené verejnosti, ale aj na systémy používané na interné testovanie a výskum.

Diskusia o bezpečnosti AI sa v Spojených štátoch zrýchlila už začiatkom roka po predstavení modelu Claude Mythos od spoločnosti Anthropic, ktorý firma pôvodne odmietla sprístupniť verejnosti pre obavy z jeho možného zneužitia.

Administratíva prezidenta Donalda Trumpa síce zaviedla dobrovoľný systém bezpečnostného testovania najpokročilejších modelov AI pred ich uvedením na trh, časť zákonodarcov však tvrdí, že dobrovoľný režim nestačí.

V Kongrese preto pribúdajú návrhy zákonov, ktoré by vývojárom ukladali povinnosť hlásiť závažné bezpečnostné incidenty federálnym úradom a zabezpečili by prísnejší dohľad nad systémami schopnými autonómne konať v kybernetickom priestore.