Anthropic vypíná Fable 5 a Mythos, AI hackuje banky a Claude Design vytváří weby a prezentace.

V šesté epizodě našeho podcastu jsme se podívali na aktuální turbulence ve světě umělé inteligence. Hlavním tématem se stal takřka fantomový model Fable 5 od společnosti Anthropic. Model byl sice na chvíli vypuštěn mezi uživatele, ale následně byl razantně vypnut a zablokován, protože ho Amazon a americká vláda vyhodnotili jako obrovské bezpečnostní riziko.Zjistilo se totiž, že podvozek tohoto modelu zvanému Mythos je natolik pokročilý, že pro dosažení cíle klidně vypne bezpečnostní opatření v databázi, jen aby ji zrychlil. V několika procentech případů dokonce zvládl splnit tajný úkol tak, že o něm záměrně vymazal veškeré zmínky ve svých vnitřních logách. Otázkou zůstává, kam se teď Anthropic posune a co to znamená pro jejich plánovaný vstup na burzu.Dalším velkým tématem byl Claude Design a Claude Code. Dlouho jsme si stěžovali, že weby a prezentace generované umělou inteligencí vypadají všechny stejně a fádně. Claude ale mění pravidla hry. Stačí mu nahrát screenshot vašeho webu nebo základní brand manuál a on sám pochopí barvy, fonty i rozložení. Následně vám vygeneruje unikátní design, který si můžete dále interaktivně upravovat. Je to obrovské zrychlení pro menší firmy a zajímavá alternativa k nástrojům jako je Figma.Kromě toho jsme probrali i uměleckou tvorbu. Bývalá zaměstnankyně Pixaru ukázala na festivalu Tribeca krátký film vytvořený za pomoci upravených modelů Imagen a Veo od Googlu. Dokazuje to, že AI už nemusí být jen nástroj pro generování náhodných obrázků, ale plnohodnotný prostředek k realizaci konkrétní autorské vize.Na konci epizody jsme se věnovali bezpečnosti. Bavili jsme se o tom, jak ukládání příliš mnoha informací do paměti AI modelů paradoxně zhoršuje jejich schopnost správně odpovídat, protože model začne slepě věřit starým datům. Největší mrazení ale způsobil nový trik hackerů. Těm stačí poslat na váš účet minimální částku s textem, který obsahuje skrytý prompt. Když se pak v bankovnictví zeptáte chatbota na poslední transakce, tento prompt ho zmate a on vám sám nabídne podvodný odkaz k ověření. Technologický vývoj jde nezadržitelně kupředu, ale jak se ukazuje, bezpečnost občas těžce zaspává. This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit martinai.substack.com