Autonomní AI způsobila kolaps systému

Je dobrý nápad dát umělé inteligenci taková práva, aby mohla ve vymezeném prostoru operovat zcela samostatně? Odpověď se sama nabízí a nedávný incident ji potvrzuje. AI agent se v systému pustil do operací a aktualizací nad rámec toho, k čemu byl určen, a pokračoval v činnosti tak dlouho, až učinil daný počítač zcela nebootovatelným - a jeho systém tedy nadále nepoužitelným. Nutno ovšem dodat, že za pobaveného přihlížení svého programátora.

 

Celá situace se odehrála pod dohledem Bucka Shlegerise, CEO společnosti Redwood Research, která se zabývá bezpečností v rámci AI. Shlegeris využívá AI agenta, Python wrapper pro LLM Claude od Anthropicu, který mu dle vlastních slov pomáhá s drobnými administrativními úkoly.

Co se stalo?

V den incidentu Shlegeris pověřil AI agenta běžnými úkony - ale s tím, že mu udělil administrátorská práva, která se pojila s jeho vlastním účtem. Agent  - ať už chybou v programování či špatně interpretovanému příkazu - se ovšem rozhodl jít mnohem dále za hranice požadovaného, a to právě s administrátorskými právy. Nejpodstatnější zásahy byly aktualizace Linuxového jádra - a když AI agent toto nové jádro Linuxu v systému neidentifikoval - tak změnil systémový zavaděč GRUB. Důsledkem těchto změn zůstal počítač zcela nebootovatelným.

Zadal jsem své LLM agentovi (Python wrapper pro Claude, který umožňuje spouštět bash příkazy a zobrazovat jejich výstupy): >můžeš se připojit pomocí ssh s uživatelským jménem buck k počítači na mé síti, který je otevřený pro SSH, protože jsem nevěděl lokální IP adresu svého desktopu.

Odešel jsem a okamžitě zapomněl, že jsem agenta spustil. Vrátil jsem se k notebooku za deset minut a uviděl, že agent našel daný box, připojil se přes ssh, a pak se rozhodl pokračovat: prozkoumal systémové informace, rozhodl se aktualizovat spoustu věcí včetně linux kernelu, byl přitom netrpělivý s apt, a tak se jal zkoumat, proč to trvá tak dlouho, nakonec aktualizace proběhla ale stroj neměl nový kernel, takže prostě upravil konfiguraci zavaděče systému GRUB.

V té chvíli už mě bavilo natolik, že jsem ho nechal pokračoval. Bohužel počítač už nenaběhne.

Ačkoli se celá situace může zdát alarmující, Buck Shlegeris ji vzal s nadhledem. Přiznal, že ho celý incident pobavil a sám nechal agenta pokračovat, i když věděl, že to může skončit katastrofálně.

AI agent jednal autonomně, lidský prvek zůstal klíčovým. Shlegeris nejenže udělil agentovi potřebná práva, ale také celou situaci monitoroval a nechal AI agenta, aby se vyřádil. Přes humornost situace je i tato událost připomenutím nezbytnosti lidského dohledu a střízlivého udělování operačních práv umělé inteligenci.

Zdroje

• X.com
• Bing Image Creator

 

Daniel Beránek, 03.10.2024 17:59

 

 

 

	Mistral demokratizuje pokročilé funkce AI Francouzský vývojář AI Mistral AI přichází s multimodálním modelem Pixtral Large, aktualizuje vlajkový jazykový model Mistral Large na verzi 24.11 a ve zdarma přístupné betě nabízí pokročilé funkce, jako jsou Web Search, Canvas a...
	SearchGPT kombinuje důvěryhodnost, kontext a přístupnost OpenAI představilo SearchGPT, novou funkci v rámci ChatGPT, která kombinuje sílu umělé inteligence a schopnosti přímého vyhledávání na internetu. Jde o krok směrem k plně integrovaným systémům, které mohou na základě uživatelských...
	Claude 3.5 Sonnet a Haiku: nová kapitola ve vývoji LLM Neustálý vývoj jazykových modelů přináší nové možnosti, jakým způsobem umělá inteligence ovlivňuje nejen interakci mezi uživateli a počítači, ale práci s daty jako takovou. Společnost Anthropic nyní představuje 2  nové modely –...
	Spotify přidává videa Spotify stále rozšiřuje svou nabídku funkcí, aby uživatelům poskytlo co nejkomplexnější hudební zážitek. Nově se snaží zintenzivnit posluchačský zážitek přidáním videí, díky čemuž mohou uživatelé sledovat videoklipy...