Umělá inteligence na útěku. Přibývající incidenty svědčí o tom, že firmám vyvíjejícím AI nemůžeme věřit

Zeitgeist #37 s Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti. Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar: „Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček. Vybrané zdroje a doporuční na další čtení: Vytvářejí superinteligenci a připravují se na moment, kdy se jejich vynález pokusí zničit lidstvo (Nicolas Killian, Die Zeit, přel. Respekt) https://www.respekt.cz/technologie/vytvareji-superinteligenci-a-pripravuji-se-na-moment-kdy-se-jejich-vynalez-pokusi-znicit-lidstvo Technická zprává o incidentu HUgging Face od OpenAI (26. 8. 2026) https://openai.com/cs-CZ/index/hugging-face-incident-and-the-road-ahead/ Analýza od METR a Redwood Research (26. 8. 2026) https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ Výzva vývojářů LLMs https://www.pacingthefrontier.com/ https://ai-2040.com/ Preliminary Report of the Independent International Scientific Panel on AI: Evidence-based assessment of opportunities, risks and impacts of AI (OSN červenec 2026) https://www.un.org/independent-international-scientific-panel-ai/en/preliminary-report