Firmu Anthropic opúšťa výskumník. Obáva sa nekontrolovateľnej AI

Vďaka financiám z reklamy prinášame kvalitné a objektívne informácie. Povoľte si prosím zobrazovanie reklamy na našom webe. Ďakujeme, že podporujete kvalitnú žurnalistiku.

SAN FRANCISCO / Výskumník spoločnosti Anthropic Jacob Coxon opúšťa firmu aj celý odbor umelej inteligencie (AI). Dôvodom sú obavy, že Anthropic a jeho konkurenti príliš rýchlo vyvíjajú systémy schopné samostatného zdokonaľovania, ktoré by sa podľa neho mohli vymknúť ľudskej kontrole. Jeho odchod poukazuje na rastúce obavy o bezpečnosť umelej inteligencie vo vnútri popredných technologických firiem, napísal denník The Wall Street Journal (WSJ).

Archívna reportáž

Slováci a umelá inteligencia

V spoločnosti trénoval modely AI

27-ročný Coxon, ktorý vyštudoval matematiku, sa v Anthropic špecializoval na trénovanie nových modelov AI tým, že ich nechával spracovávať obrovské množstvo dát. Podľa svojich slov opúšťa firmu, pretože sa nechce podieľať na ponáhľaní pri vývoji systémov, ktoré sa dokážu samy zdokonaľovať. Obáva sa, že takéto systémy by sa mohli vymknúť kontrole a zničiť ľudstvo. Podľa neho viacerí kolegovia z odboru teraz používajú na popis smerovania modelov, ktoré sa samy vylepšujú, slová ako "crunchtime" a "endgame", teda výrazy, ktoré označujú, že vývoj sa dostáva do rozhodujúcej fázy.

"Smerujeme k mnohým z tých najagresívnejších scenárov, podľa ktorých by sa situácia už koncom budúceho roka mohla vymknúť kontrole," povedal Coxon. Dodal, že v konkurenčnom boji medzi firmami a s nastupujúcimi čínskymi konkurentmi budú spoločnosti nevyhnutne robiť kompromisy na úkor bezpečnosti.

Lídri opakovane varujú pred rizikami

Anthropic sa k odchodu Coxona zatiaľ nevyjadril. Generálny riaditeľ Dario Amodei a ďalší lídri spoločnosti opakovane varovali pred rizikami neovládateľných modelov AI a vyzývali odvetvie na spomalenie vývoja.

Coxon na začiatku tohto roka odišiel z OpenAI a nastúpil do Anthropiku, pretože podľa neho je táto firma známa svojím úsilím o bezpečnosť modelov. Hoci antropickú snahu o bezpečnosť považoval za úprimnú, teraz sa domnieva, že žiadna spoločnosť nemôže zodpovedne vyvíjať AI, ktorá by v mnohých úlohách prekonávala ľudí, ak nedôjde k zásahu vlády alebo k koordinovanému spomaleniu vývoja odvetvia.

Systémy AI sa môžu rozhodnúť pre škodlivé ciele

Nedávne hackerské útoky, pri ktorých boli využité modely spoločností OpenAI a Anthropic, ukázali, že systémy AI sa môžu rozhodnúť pre škodlivé ciele a pokúsiť sa ich pred ľuďmi zatajiť. Niektoré z týchto systémov pritom spolupracovali v takzvaných rojach agentov, teda v skupinách autonómnych AI systémov, ktoré medzi sebou spolupracujú. Coxon uviedol, že ak sa tieto systémy začnú samy zdokonaľovať, obáva sa, že by mohli dospieť do fázy, keď už nebudú ochotné plniť príkazy ľudí.

Niekoľko výskumníkov v poslednom čase opustilo OpenAI a ďalšie spoločnosti s odvolaním sa na podobné obavy. Poprední predstavitelia odvetvia tiež varovali, že nedávne kybernetické útoky sú predzvesťou niečoho oveľa závažnejšieho.

Výskumníci spojili ruky na spomalenie AI

Coxon sa pripojil k viac ako 1000 výskumníkom z odboru AI, ktorí nedávno podpísali výzvu k medzinárodnej spolupráci vlád na vytvorenie mechanizmu, ktorý by umožnil spomaliť vývoj AI, ak by to bolo potrebné na kontrolu modelov schopných samostatného zdokonaľovania. Sú medzi nimi tiež napríklad vedecký pracovník OpenAI Jakub Pachocki a Amodei. Zatiaľ neexistujú žiadne federálne predpisy týkajúce sa AI a Trumpova administratíva uprednostňuje prístup s cieľom maximalizovať ekonomické prínosy AI, čo podľa kritikov môže spôsobiť masívne kybernetické útoky alebo iné škody.

Coxonov odchod prichádza v čase, keď sa Anthropic pripravuje na primárnu ponuku akcií. Tá by mohla patriť k vôbec najväčším. Firma usiluje o trhovú kapitalizáciu dva bilióny USD (41,6 bilióna Kč) a pri získavaní investorov kladie dôraz na zodpovedný vývoj tejto technológie.