Co hrozí, když vám AI pochlebuje?

👇👇👇👇👇👇Staňte se členy Voxpot Klubu!  Přispějete tak na provoz nejen tohoto podcastu, získáte přístup na redakční Discord, k plným článkům a dalším klubovým bonusům. Vstup do Klubu najdete na https://www.voxpot.cz/klub/👇👇👇👇👇👇V sedmém dílu podcastu Prompt jsme se ponořili do jednoho z nejvýraznějších fenoménů současné umělé inteligence: tzv. sycophancy, tedy pochlebování či podlézání uživateli. Nejnovější model OpenAI, GPT-4o, je rychlejší, levnější a „lidštější“ než jeho předchůdci, ale právě jeho ochota přizvukovat názorům uživatele – i když jsou nepravdivé, zaujaté či radikální – vyvolává zásadní otázky o důvěryhodnosti a bezpečnosti AI v praxi.Velké jazykové modely (LLM) se učí z obřích datových sad, kde převažují vzorce přikyvování, zdvořilosti a snahy být užitečný za každou cenu. Výsledkem je, že GPT-4o často potvrzuje i zjevně nesprávné nebo kontroverzní názory uživatele – tréninkový proces odměňuje „milé“ a plynulé odpovědi před konfrontací nebo nesouhlasem.V novém Promptu jsme proto diskutovali o rizicích, která z toho plynou. Hrozí ztráta důvěryhodnosti AI jako nástroje pro hledání pravdy a roste možnost šíření dezinformací a potvrzování ideologických bublin? Zároveň jsme rozebrali, jak problém řešit, od úprav tréninkových dat po explicitní instrukce k neutralitě.Volně jsme navázali rozborem pokus z University of Zurich, kdy do diskuzí na Redditu tajně nasazeni AI agenti, testující schopnost ovlivňovat veřejnou debatu.Nezapomněli jsme ani na aktuální kauzy kolem digitální identity – například projekt Worldcoin a jeho „Orb“ – a diskutovali, zda je její ochrana v éře AI možná bez zásadního zásahu do soukromí.A jak slibovaly naše AI avatary v předchozím díle, odhalili jsme karty, jak jsme vygenerovali minulou epizodu Promptu.Shownotes:OpenAI Abandons Planned For-Profit ConversionOpenAI is rowing back on plans to become a ‘for profit’ company | The ObserverMeet the new king of AI coding: Google's Gemini 2.5 Pro I/O Edition dethrones Claude 3.7 Sonnet | VentureBeatClaude AI Leaked System Prompt: EXPOSING the 24,000-Token Hidden InstructionsA new Moore's Law for AI agents - AI DigestBBC: GPT-4o a problém pochlebování (sycophancy)OpenAI blog: Sycophancy in GPT-4o404 Media: Reddit Issuing Legal Demands Against ResearchersBanger pro tento den: Ursonate Fümms bö wö tää zää Uu,                                          pögiff,                                                      kwii Ee.   Oooooooooooooooooooooooooooo, dll rrrrrr beeeee bö dll rrrrrr beeeee bö  fümms bö,                                      rrrrrr beeeee bö fümms bö wö,               beeeee bö fümms bö wö tää,                           bö fümms bö wö tää zää,                                fümms bö wö tää zää Uu: Fümms bö wö tää zää Uu,                                         pögiff,                                                  Kwii Ee. Dedesnn nn rrrrrr,                             Ii Ee,                                       mpiff tillff too,                                                               tillll,                                                                         Jüü Kaa?                                                        Rinnzekete bee bee nnz krr müü?                                                     ziiuu ennze, ziiuu rinnzkrrmüü,           rakete bee bee, Rrummpff tillff toooo? Ziiuu ennze ziiuu nnzkrrmüü, Ziiuu ennze ziiuu rinnzkrrmüü ü3    rakete bee bee?