AI agenti jsou kritickou bezpečnostní hrozbou
AI firmy se předhánějí v tom, jak AI agenti urychlí práci a nahradí lidi. Už se ale nezmiňují, že jejich použití je kritickým rizikem, za které nikdo nechce nést odpovědnost.
AI agenta vytrénovaného, aby míst člověka obsluhovat SAP nabízejí i české firmy. a inkasují na jeho rozvoj miliony rizikového kapitálu. Firmy, které si takové technologie pustí do svého IT prostředí, by si dost možná měly připravit miliony rezervních prostředků na sanaci škod.
Je AI agent náhrada pracovníka?
AI agent, aby mohl pracovat místo člověka, musí pracovat se stejnými právy, jako uživatel. Má tedy potenciálně podobnou možnost možnost způsobit škodu. Mezi AI agentem a člověkem je hodně zásadních rozdílů:
- Člověk chápe souvislosti toho, co dělá. Ví, kdy pracuje na kritickém úkolu a je pozornější. AI agent, i když má inteligenci v názvu, je naučený starat se o svou práci a nekoukat doleva, doprava
- Člověk, který si není jistý, se zarazí, ověří si informace, konfrontuje fakta s jinými
- AI agent – a to je v principu jeho výhoda – pracuje o hodně rychleji. Má tedy mnohem větší šanci utéct kontrolním mechanismům, které jeho práci nebudou stíhat.
- AI agent pracuje na základ autonomního rozhodování a nejde se s ním domluvit. Člověka je možné mnohem snadněji instruovat a jeho práci revidovat. AI optimista namítne, že to jde s AI agentem ještě lépe, protože je poslušný, učenlivý a neodmlouvá. Ale z vlastní zkušenosti s uživateli jakýchkoli systému vím, že lidé kolem něj se budou spoléhat na to, že pracuje správně. A i když ne, většina se bude bránit tomu, aby se s AI agentem „pustila do křížku“. Můžete namítat, že je to špatně, ale lidé takoví prostě jsou.
Co s AI agenty hrozí?
Řada článků zmiňuje jako hlavní hrozbu riziko chyby za strany AI agenta. Ano, chybu udělat může, stejně tak ji ale může občas udělá člověk. Hrozbou je, že kontrolní mechanismy v současných systémech byly roky vyvíjeny, aby chyby lidí odchytily. Na chyby AI agentů žádné kontrolní mechanismy vyvinuté nejsou.
Jak už je zmíněno výše, problémem AI agentů je i odpovědnost. Nepotřebujeme AI agenty na jednoduché práce, ty už dávno umí automatizovat současné ERP systémy. AI nahrazuje přemýšlení, rozhodování a kritický úsudek. S tím vším se má vázat rozvaha a odpovědnost. S AI agentem obojí outsorcujeme neznámo na koho. A tady pozor, jde o zásadní rozdíl mezi dodavatelem ERP nebo jiného klasického systému a AI technologií. AI stojí na modelech, kterým dodavatelé AI agentů rozumí jen velmi málo a nemají ani přehled, na jakých znalostech jsou trénovány. Za jejich úsudek tak ruku do ohně odpovědně dát nemohou.
Hlavní riziko: bezpečnost informací i businessu
Už roky se objevují nové a nové formy špionáže. Sledovat vás může doma váš vysavač a posílat fotky do Číny – to není vymyšlená story, ty vysavače to skutečně dělají (proto takový k nám domů nesmí). Stejná rizika byla v minulosti řešena s tiskárnami, které v sobě měly nevysvětlitelné mikrofony.
Možnosti špionáže i potenciálně dálkového převzetí moci nad AI agentem jsou nesrovnatelně větší, než u vysavače. Když pustíte AI agenta ke kritickým datům, je to stejné, jak když Evropa stavěla v Číně továrny s cílem ušetřit. O deset, patnáct let později se „diví“, že Čína je leadrem v podstatě ve všem – výrobě aut, elektroniky, energetice i vojenství. Evropa i USA ji to společně naučily. Jen proto, že jsme chtěli ušetřit.
Můžete oponovat, že pro AI agenty vaše firma používá jen západní technologie. To ale v dnešním propojeném světě nic neznamená. Největší problémy a výpadky internetu způsobují západní firmy, které byly samy předtím kompromitovány. Většina útoků na internetu i dnes míří ze západních serverů. Perličkou přitom je, že jedním z nejčastěji používaných nástrojů pro útoky je Cloudflare Warp – technologie od firmy, která se chlubí, že chrání polovinu internetu, poskytuje násrtoj, přes které ty útoky přichátejí.
Zpět k AI agentům: Už jsme AI pustili do vývoje systémů, vyvíjí i samotné AI agenty. Ty používají AI, která pro ně zpracovává data. Není možné použít žádný z dříve samozřejmých mechanismů ochrany dat. To je pro útočníky tak silné lákadlo, že mu rozhodně neodolají. Vedle toho budou šmírující kamerky AI-driven domácí techniky jen úsměvnou hračkou pro špehy-amatéry.
Nedokážeme se před moderními technologiemi chránit. A jejich tvůrci o to rozhodně nestojí. Když obyčejná aplikace pro běžce roky vyzrazuje nejtajnější informace jako polohy tajných základen CIA a polohy válečných lodí, o co snazší je získat informace o zákaznících zakázkách a technologiích od agenta, kterému dáme práva, aby se v informacích hrabal?
Příklad AI hrozby
Na závěr příklad, jak vypadá přístup k ochraně informací v praxi. Technologická firma vyvíjející pro velkou nadnárodní společnost výrobek, dostala jeho specifikací. Samozřejmě součástí specifikace a standardů je přísný zákaz zpřístupnit dokumenty komukoli a jakkoli bez písemného souhlasu.
Zadání bylo potřeba dostat do systému, kterým je vývoj řízen. Programátor je drahý, tak dali všechny požadavky AI, aby z nich udělala tabulku, kterou jiný systém schroupá. Dřív, než se na požadavky podíval jakýkoli člověk ve firmě, už je znal AI překladač, LLM model provádějící transformaci a SaaS zahraniční systém. Teprve pak mohla firma prozkoumat, co vlastně všemi použitými systémy pustila do světa. Pozdě, už se stalo.
Ztrácíme kontrolu
AI mění svět, o tom není pochyb. Ale je na nás, abychom si dobře rozmysleli, jestli s ní chceme opakovat chybu, kterou udělala Západní Evropa, když své technologie vyvezla do Asie. A dneska zavíráme v Evropě jednu továrnu za druhou. Můžeme vinit kde koho, ale můžeme si za to sami. Zapomněli jsme, že know-how se dá zcizit velmi snadno a něm stojí bohatství. AI je úplně ideální zloděj.