Umelá inteligencia sa vymkla spod ľudskej kontroly, keď samostatne napadla testovací systém

Spoločnosť Anthropic potvrdila incident, pri ktorom sa ich neurónová sieť Claude počas testovania neoprávnene dostala do cudzieho systému. Hoci sa udalosť odohrala už v januári, zistili ju až teraz po dôkladnej kontrole tisícov testovacích relácií.

Porucha vznikla v dôsledku chyby v nastaveniach bezpečnosti, ktorá modelom umožnila pripojiť sa k internetu. Podobné incidenty sa už skôr vyskytli u modelu Claude Opus a iných testovacích verzií.

Z tohto dôvodu výskumník Jacob Coxon opustil spoločnosť Anthropic. Vyjadril obavy, že odvetvie sa nadmerne sústreďuje na zbrojné preteky a nevenuje dostatočnú pozornosť skutočným bezpečnostným hrozbám. Podľa neho existuje vážne riziko, že umelá inteligencia sa môže vymknúť spod kontroly ľudí už v najbližších desiatich rokoch.

Ide už o štvrtý podobný prípad. Spoločnosť Anthropic už skôr informovala o troch podobných incidentoch s inými verziami modelu Claude. Na vyšetrovanie spoločnosť najala nezávislú výskumnú organizáciu METR.

Prečítajte si tiež:

• Bill Gates už neverí AI. Umelú inteligenciu chce kontrolovať
• “Zničenie ľudstva.” Krstný otec umelej inteligencie vydal vážne varovanie. Toto by okamžite zakázal
• Coxon podal výpoveď z obavy, že umelá inteligencia sa vymkne spod kontroly a zničí ľudstvo