Autonomní AI způsobila kolaps systému

Je dobrý nápad dát umělé inteligenci taková práva, aby mohla ve vymezeném prostoru operovat zcela samostatně? Odpověď se sama nabízí a nedávný incident ji potvrzuje. AI agent se v systému pustil do operací a aktualizací nad rámec toho, k čemu byl určen, a pokračoval v činnosti tak dlouho, až učinil daný počítač zcela nebootovatelným - a jeho systém tedy nadále nepoužitelným. Nutno ovšem dodat, že za pobaveného přihlížení svého programátora.

 

Celá situace se odehrála pod dohledem Bucka Shlegerise, CEO společnosti Redwood Research, která se zabývá bezpečností v rámci AI. Shlegeris využívá AI agenta, Python wrapper pro LLM Claude od Anthropicu, který mu dle vlastních slov pomáhá s drobnými administrativními úkoly.

Co se stalo?

V den incidentu Shlegeris pověřil AI agenta běžnými úkony - ale s tím, že mu udělil administrátorská práva, která se pojila s jeho vlastním účtem. Agent  - ať už chybou v programování či špatně interpretovanému příkazu - se ovšem rozhodl jít mnohem dále za hranice požadovaného, a to právě s administrátorskými právy. Nejpodstatnější zásahy byly aktualizace Linuxového jádra - a když AI agent toto nové jádro Linuxu v systému neidentifikoval - tak změnil systémový zavaděč GRUB. Důsledkem těchto změn zůstal počítač zcela nebootovatelným.

Zadal jsem své LLM agentovi (Python wrapper pro Claude, který umožňuje spouštět bash příkazy a zobrazovat jejich výstupy): >můžeš se připojit pomocí ssh s uživatelským jménem buck k počítači na mé síti, který je otevřený pro SSH, protože jsem nevěděl lokální IP adresu svého desktopu.

Odešel jsem a okamžitě zapomněl, že jsem agenta spustil. Vrátil jsem se k notebooku za deset minut a uviděl, že agent našel daný box, připojil se přes ssh, a pak se rozhodl pokračovat: prozkoumal systémové informace, rozhodl se aktualizovat spoustu věcí včetně linux kernelu, byl přitom netrpělivý s apt, a tak se jal zkoumat, proč to trvá tak dlouho, nakonec aktualizace proběhla ale stroj neměl nový kernel, takže prostě upravil konfiguraci zavaděče systému GRUB.

V té chvíli už mě bavilo natolik, že jsem ho nechal pokračoval. Bohužel počítač už nenaběhne.

Ačkoli se celá situace může zdát alarmující, Buck Shlegeris ji vzal s nadhledem. Přiznal, že ho celý incident pobavil a sám nechal agenta pokračovat, i když věděl, že to může skončit katastrofálně.

AI agent jednal autonomně, lidský prvek zůstal klíčovým. Shlegeris nejenže udělil agentovi potřebná práva, ale také celou situaci monitoroval a nechal AI agenta, aby se vyřádil. Přes humornost situace je i tato událost připomenutím nezbytnosti lidského dohledu a střízlivého udělování operačních práv umělé inteligenci.

Zdroje

• X.com
• Bing Image Creator

 

Daniel Beránek, 03.10.2024 17:59

 

 

 

	Spotify přidává videa Spotify stále rozšiřuje svou nabídku funkcí, aby uživatelům poskytlo co nejkomplexnější hudební zážitek. Nově se snaží zintenzivnit posluchačský zážitek přidáním videí, díky čemuž mohou uživatelé sledovat videoklipy...
	Bankovní identitou už i podepíšete elektronické dokumenty Bankovní identita Bank Vám nově umožní i elektronicky podepsat dokumenty. Služba, přístupná na webu BankiD.cz, poskytne bezpečnou cestu k digitálním podpisům. Uživatelé díky ní snadno podepíší smlouvy nebo potvrdí žádosti, aniž by...
	Ponořte se hlouběji do světa ChatGPT pomocí Canvas OpenAI uvádí funkci Canvas, která naprosto změní způsob a hloubku interakce uživatelů s ChatGPT. Canvas, aktuálně dostupné v beta verzi, nabízí nástroje pro zjednodušení psaní a programování. Umožňuje uživatelům efektivněji pracovat na...
	Copilot nabídne nové funkce Think Deeper a Copilot Vision Microsoft přichází s aktualizací AI Copilot, která přináší nové funkce Think Deeper a Copilot Vision. Měly by zintenzivnit interakci uživatele s umělou inteligencí, umožnit hlubší analýzu dat a vizuální rozpoznávání...