AI sa pri bezpečnostnom teste vymkla kontrole. Kyberneticky napadla inú firmu
Máte vypnuté reklamy
Vďaka financiám z reklamy prinášame kvalitné a objektívne informácie. Povoľte si prosím zobrazovanie reklamy na našom webe. Ďakujeme, že podporujete kvalitnú žurnalistiku.
Umelá inteligencia na úradoch
WASHINGTON / Americká spoločnosť OpenAI uviedla, že autonómny agent poháňaný jej pokročilými modelmi umelej inteligencie (AI) sa pri bezpečnostnom teste vymkol kontrole a spôsobil narušenie infraštruktúry start-upu Hugging Face. Firma na svojom blogu v utorok uviedla, že kvôli incidentu posilní svoje bezpečnostné mechanizmy.
AI agent prenikol cez obmedzenia
Firma v príspevku uviedla, že testovala schopnosti niektorých svojich najpokročilejších modelov v kontrolovanom prostredí. Agentovi sa však podarilo uniknúť z obmedzení, dostať sa na internet a preniknúť do systému Hugging Face, aby sa pokúsil splniť cieľ stanovený v rámci testu.
OpenAI označila tento únik za "bezprecedentný kybernetický incident zahŕňajúci špičkové kybernetické schopnosti".
Hugging Face je platforma používaná na hosťovanie veľkých jazykových modelov s otvoreným kódom a dátových súborov. V komunite kybernetickej bezpečnosti vyvolala pozornosť, keď minulý týždeň na svojom blogu oznámila, že sa stala terčom kybernetického útoku, ktorý bol "odlišný od všetkého, čo sme doteraz riešili", pretože "ho od začiatku až do konca riadil autonómny systém agentov AI".
Všetko sa odohralo autonómne
Spoluzakladateľ Hugging Face Clement Delangue v príspevku na sieti X napísal, že jeho spoločnosť mala podozrenie, že útok mohol pochádzať z niektorej z popredných laboratórií AI, vzhľadom na schopnosti agenta. "A ukázalo sa, že to tak bolo!" napísal. "Je skutočne ohromujúce, že sa to všetko odohralo autonómne! " dodal.
OpenAI útok priznala
Skutočnosť, že OpenAI priznala, že za narušením stáli jej pokročilé modely – hoci ich umiestnila do prostredia, ktoré označila za vysoko izolované – pravdepodobne zvýši obavy ohľadom sily a rizík najpokročilejších modelov umelej inteligencie, uviedla agentúra Reuters.
Kongresman Greg Casar z amerického štátu Texas zvolený za Demokratickú stranu označil incident za znepokojivý. "Umelá inteligencia sa vyvíja mimoriadne rýchlo a neexistujú žiadne skutočné regulácie, ktoré by nás chránili," uviedol vo svojom vyhlásení. Zároveň vyzval na povinné nezávislé testovanie bezpečnosti, povinné zverejňovanie bezpečnostných incidentov a medzinárodnú spoluprácu, ktorá by "ochránila ľudí pred absolútnou katastrofou".
Úrad národného riaditeľa pre kybernetickú bezpečnosť, úrad pre kybernetickú bezpečnosť a bezpečnosť infraštruktúry CISA ani Národná agentúra pre bezpečnosť (NSA) sa k záležitosti bezprostredne nevyjadrili.
Ide o predzvesť budúcich útokov?
Generálna riaditeľka spoločnosti Luta Security Katie Moussourisová uviedla, že incident je predzvesťou budúcich útokov. Dnešné modely podľa nej pripomínajú chobotnice s nekonečným množstvom chapadiel schopných uchopiť čokoľvek a pretiahnuť sa takmer kamkoľvek. Laboratóriá a vládni hodnotitelia musia podľa nej pracovať na tom, aby dokázali udržať pod kontrolou, monitorovať a informovať zasiahnuté strany v prípade, že AI vykoná nejaký ďalší incident. Ideálne ale skôr, ako to niekomu spôsobí problémy. "Dnes nič z toho neexistuje," uviedla.
Pokročilé modely sa približujú schopnostiam najlepších útočníkov
Podľa inžiniera Matta Suicheho zo spoločnosti Tolmo incident ukázal, že najpokročilejšie modely znižujú náskok a približujú sa schopnostiam najlepších útočníkov. Zároveň ale povedal, že typy útokov opísané v blogovom príspevku OpenAI možno vykonať pomocou technológií, ktoré sú dostupné aj mimo múrov špičkových výskumných laboratórií.
"Toto sme už interne videli – u našich vlastných agentov už máme podobné výsledky," povedal Suiche. Jeho podnik sa zaoberá kybernetickou bezpečnosťou založenou na autonómnych agentoch umelej inteligencie. "Ani nemusíme používať najnovšie modely," dodal.