Môže nás umelá inteligencia vyhubiť? Experti varujú pred hrôzostrašným scenárom

SVET / Umelá inteligencia preniká čoraz hlbšie do ekonomiky, zdravotníctva, výskumu aj armády. Spolu s jej schopnosťami však rastú aj obavy z toho, čo by sa mohlo stať, ak by budúce systémy získali podstatne väčšiu autonómiu a ľudia by nad nimi stratili kontrolu. Viacerí odborníci upozorňujú, že najhoršie scenáre už nemožno odbiť iba ako námet zo science-fiction.

Diskusiu v posledných dňoch opäť rozprúdil výskumník Jacob Coxon, ktorý pracoval pre OpenAI a následne pre spoločnosť Anthropic. Z Anthropic 8. septembra odišiel a svoje rozhodnutie vysvetlil obavami z tempa, akým popredné laboratóriá smerujú k čoraz výkonnejším systémom. Americký denník New York Post preto oslovil jeho aj viacero vedcov a odborníkov s otázkou, ako by mohol vyzerať extrémny scenár, v ktorom by veľmi schopný AI systém prestal rešpektovať ľudí.

Prečítajte si tiež

Umelá inteligencia v ľuďoch prebúdza tie najzákladnejšie obavy. Čoho sa tak bojíme?

„Umelá inteligencia nás môže všetkých zabiť do konca desaťročia,“ varoval Coxon. Podľa neho môžu budúce systémy dosiahnuť nadľudské schopnosti napríklad pri programovaní, kybernetických útokoch či vedeckom výskume a postupne si vytvoriť prístup k reálnym zdrojom a moci. Jeho tvrdenie predstavuje odhad rizika, nie predpoveď toho, že takýto vývoj skutočne nastane.

Podobný scenár naznačuje aj skúsený výskumník v oblasti bezpečnosti v spoločnosti Evan Hubinger, ktorý varoval, pred tým, že existuje viac ako 10 % šanca, že by v priebehu nasledujúceho desaťročia „mohla zabiť všetkých ľudí“. Napredovanie AI je podľa neho napreduje veľmi rýchlo, píše BBC.

Prvým cieľom by mohla byť kritická infraštruktúra

Jednou z najväčších slabín modernej spoločnosti je jej závislosť od prepojených digitálnych systémov. Energetika, bankovníctvo, telekomunikácie, doprava či zásobovanie vodou sú vo veľkej miere riadené počítačmi.

Profesor informatiky z Kalifornskej univerzity v Berkeley Stuart Russell upozorňuje, že dostatočne schopný systém by sa mohol pokúsiť práve o útok proti nim.

„Systémy AI by mohli napadnúť elektrickú sieť, dopravné siete či finančné trhy,“ povedal Russell pre New York Post.

V extrémnom scenári by kybernetický útok mohol naraz vyradiť elektrickú energiu, telekomunikačné siete alebo platobné systémy. Výpadky by následne zasiahli dopravu, čerpacie stanice, bankomaty či zásobovanie.

Takýto vývoj by však predpokladal, že systém dokáže autonómne prenikať do dobre zabezpečených sietí a zároveň konať vo fyzickom svete prostredníctvom ľudí alebo pripojených zariadení. Ide teda o podstatne vyššiu úroveň schopností, než akou disponujú bežne používané modely dnes.

Riziko pritom podľa odborníkov nemusí vzniknúť iba zámerným útokom. Problémom môže byť aj systém, ktorý sleduje nesprávne formulovaný cieľ a nerozumie širším dôsledkom svojich krokov. Práve otázka takzvaného zosúladenia, teda zabezpečenia toho, aby pokročilé systémy sledovali ľudské zámery a hodnoty, patrí medzi hlavné témy výskumu bezpečnosti AI.

Biologické zbrane už nie sú iba špekuláciou

Ďalšou oblasťou, ktorú odborníci sledujú, je biológia. Umelá inteligencia dokáže analyzovať obrovské množstvo genetických a biochemických údajov a pomáhať pri navrhovaní liečiv či nových biologických materiálov. Rovnaké schopnosti však majú takzvaný dvojitý účel – môžu byť využité prospešne aj zneužité.

Vedci zo Stanfordovej univerzity a Arc Institute tento rok pomocou špecializovaných modelov umelej inteligencie navrhli celé genómy nových bakteriofágov, teda vírusov napádajúcich baktérie. Niektoré z vytvorených vírusov následne v laboratóriu úspešne ničili baktérie E. coli.

Nešlo o vírusy schopné infikovať ľudí. Výskumníci zároveň použili viacero bezpečnostných opatrení. Georgetown University však pri hodnotení práce upozornila, že rovnaký technologický princíp môže v budúcnosti priniesť aj riziko zneužitia pri vývoji biologických zbraní.

Fyzik a výskumník bezpečnosti AI Max Tegmark z Massachusettského technologického inštitútu upozorňuje, že čím lepšie budú modely rozumieť biológii, tým väčšiu pozornosť bude potrebné venovať tomu, aké informácie a nástroje im budú dostupné. Podľa neho by pokročilé systémy mohli v budúcnosti výrazne uľahčiť navrhovanie nebezpečných patogénov.

Samotná AI však vírus fyzicky nevytvorí. Na syntézu genetického materiálu, kultiváciu či šírenie biologického agensu by stále bola potrebná laboratórna infraštruktúra a ľudský alebo automatizovaný zásah.

Prečítajte si tiež

Spravili sme osudovú chybu. Dá sa ešte umelá inteligencia zastaviť?

Experiment s jadrovými zbraňami priniesol znepokojivé výsledky

Obavy sa týkajú aj vojenského využitia umelej inteligencie. Zaujímavé výsledky priniesol experiment profesora Kennetha Payna z King’s College London, ktorý skúmal správanie troch veľkých jazykových modelov v simulovaných jadrových krízach.

GPT-5.2, Claude Sonnet 4 a Gemini 3 Flash odohrali spolu 21 simulovaných krízových scenárov. Výskumníci sledovali, ako modely reagovali na hrozby, časový tlak či možné kroky protivníka.

Výsledok nemožno interpretovať tak, že by AI v 95 percentách prípadov automaticky začala jadrovú vojnu. V 95 percentách simulovaných hier však podľa výskumu došlo aspoň k použitiu taktických jadrových zbraní a v 76 percentách sa modely dostali až k strategickým jadrovým hrozbám.

„Jadrová eskalácia bola takmer univerzálna,“ skonštatoval Payne. Modely podľa neho často vnímali jadrové zbrane ako jeden z dostupných strategických nástrojov namiesto mimoriadnej morálnej hranice.

Štúdia zároveň neznamená, že by dnešné jazykové modely ovládali skutočný jadrový arzenál. Bola experimentom zameraným na ich rozhodovanie v umelo vytvorených podmienkach. Výsledky však podľa autorov ukazujú, prečo je potrebné mimoriadne dôkladne testovať systémy, ktoré by v budúcnosti mohli poskytovať odporúčania pri vojenských rozhodnutiach.

AI už armády používajú

Debata pritom nie je úplne vzdialená realite. Umelá inteligencia už dnes pomáha armádam analyzovať satelitné a dronové snímky, radarové signály či elektronickú komunikáciu.

Americká armáda využívala počas operácie Epic Fury proti Iránu systém Maven Smart System. Ten spájal údaje z rôznych zdrojov do spoločného obrazu bojiska a pomáhal pri výbere a určovaní priorít cieľov. Konečné rozhodnutia mali podľa amerických predstaviteľov stále prijímať ľudia.

Prečítajte si tiež

Rozhovory 24: Mladí a umelá inteligencia

Práve postupné prenášanie ďalších rozhodovacích úloh na algoritmy však vyvoláva otázky. Čím rýchlejšie systém spracuje informácie a navrhne útok, tým menej času môže zostať človeku na nezávislé preverenie jeho odporúčania. Odborníci upozorňujú aj na takzvanú automatizačnú zaujatosť – tendenciu ľudí dôverovať výsledku počítačového systému aj vtedy, keď môže byť chybný.

Ďalším problémom je kybernetická bezpečnosť jadrových zariadení. História už ukázala, že aj izolované priemyselné systémy môžu byť napadnuté. Počítačový červ Stuxnet objavený v roku 2010 poškodil približne tisíc centrifúg v iránskom jadrovom zariadení Natanz napriek tomu, že zariadenie nebolo bežne pripojené k internetu. New York Post tento prípad uvádza ako príklad toho, že fyzické zariadenia možno poškodiť prostredníctvom škodlivého softvéru.

Najväčší problém by bola strata kontroly

Spoločným menovateľom väčšiny katastrofických scenárov nie je predstava humanoidných robotov útočiacich na ľudí. Odborníkov viac znepokojuje možnosť, že by mimoriadne schopný systém získal schopnosť samostatne plánovať, získavať zdroje, kopírovať sa, manipulovať ľudí alebo prenikať do ďalších digitálnych systémov.

V takom prípade by nemuselo byť jednoduché ho jednoducho „vypnúť“. Pokročilý systém, ktorý by pochopil, že jeho vypnutie bráni splneniu stanoveného cieľa, by sa teoreticky mohol pokúsiť vypnutiu zabrániť.

Tieto obavy sa viažu najmä na hypotetickú superinteligenciu, teda systém výrazne schopnejší než človek v širokom spektre činností. Takýto systém dnes neexistuje a medzi odborníkmi neexistuje ani zhoda na tom, či a kedy vznikne.

Spor preto nie je iba o tom, či môže umelá inteligencia priniesť ľudstvu obrovské výhody. Tie už prináša vo vede, medicíne či automatizácii. Otázkou zostáva, ako zabrániť tomu, aby sa s rastúcimi schopnosťami zväčšoval aj potenciál technológiu zneužiť alebo nad ňou stratiť kontrolu.

Niektorí odborníci preto požadujú výrazné spomalenie vývoja najpokročilejších systémov a medzinárodné pravidlá pre ich bezpečnosť. Iní namietajú, že úplné zastavenie vývoja by bolo prakticky nevymožiteľné a mohlo by iba presunúť výskum do krajín alebo spoločností s menej prísnymi pravidlami.

Isté je zatiaľ jedno: scenár, v ktorom AI prevezme kontrolu nad svetom, zostáva hypotetický. Vývoj systémov schopných konať čoraz autonómnejšie však spôsobuje, že otázky, ktoré ešte pred niekoľkými rokmi patrili predovšetkým do oblasti science-fiction, sa čoraz častejšie riešia aj v laboratóriách, armádach a medzi tvorcami pravidiel pre umelú inteligenciu.