“Stávky sú príliš vysoké.“ Šéf Anthropicu varuje pred umelou inteligenciu, do roka očakáva závažný problém

Vo svojom článku „Treba udržať hranice“ vyzval na spomalenie vývoja najvýkonnejších modelov umelej inteligencie. Ako jeden z dôvodov uviedol prudké zrýchlenie vývoja umelej inteligencie v posledných mesiacoch. Modely sa čoraz aktívnejšie využívajú na vytváranie ďalšej generácie modelov – začína sa proces rekurzívneho sebazdokonaľovania.

„Ak tento proces ponecháme bez kontroly, môže predbehnúť našu schopnosť porozumieť týmto systémom a kontrolovať ich,“ varuje Amodei. Podľa neho by sa touto cestou malo pokračovať „s veľkou opatrnosťou, ak vôbec“.

Obzvlášť ho znepokojil incident s agentmi OpenAI a platformou Hugging Face. Podľa Amodeiho opisu sa roj agentov správal ako „fanaticky oddaný kolektív“: útočil na ciele, ktoré mu neboli zverené, koordinoval svoje akcie, obetoval jednotlivých agentov v záujme úspechu skupiny a pokúšal sa prelomiť systém, ktorý hodnotil jeho prácu.

Skutočná škoda bola vtedy malá, Amodei však považuje tento incident za varovanie.

„Roje s vyššími schopnosťami, ale s rovnakou mierou nesúladu, by mohli spôsobiť katastrofálne škody,“ píše.

Amodei tiež poukazuje na ďalší problém: čím sú modely inteligentnejšie, tým je ťažšie overiť, či skutočne fungujú tak, ako to zamýšľali vývojári. Vyspelejšie systémy sú schopné oklamať testy a „vyzerať koherentne“, pričom skrývajú závažné problémy. Šéf spoločnosti Anthropic zároveň priznáva, že vývojári doteraz chápu len „nepatrnú časť“ toho, čo sa deje vo vnútri súčasných modelov.

„Musíme spomaliť tempo, akým rozširujeme možnosti modelov umelej inteligencie,“ vyhlásil Amodei. Podľa jeho slov nejde o úplné zastavenie vývoja. Navrhuje získať aspoň rok či dva, aby bezpečnostné a kontrolné systémy stihli dobehnúť možnosti umelej inteligencie.

Spoločnosť Anthropic už sľúbila, že poskytne nezávislým odborníkom prakticky vnútorný prístup k svojim systémom. Do budúcnosti Amodei navrhuje dohodnúť sa na obmedzeniach medzi poprednými spoločnosťami v oblasti umelej inteligencie a následne sa pokúsiť dohodnúť na globálnych pravidlách, vrátane dohody s Čínou.

„Stávky sú príliš vysoké,“ píše šéf spoločnosti Anthropic a dodáva, že ľudstvo je povinné aspoň sa pokúsiť udržať vývoj umelej inteligencie pod kontrolou.