Knowledge Science - Alles über KI, ML und NLP

Send us Fan MailIn dieser Folge widmen sich Sigurd Schacht und Carsten Lanquillon einem brandaktuellen Paper aus dem Mai 2026: den Natural Language Autoencoders. Während klassische Sparse Autoencoder Aktivierungen über Umwege in Konzepte übersetzen, gehen diese neuen Modelle einen radikal anderen Weg – sie verbalisieren Aktivierungen direkt in natürlicher Sprache. Die beiden diskutieren, wie Activation Verbalizer und Activation Reconstructor zusammenspielen, warum ein „Warmstart" beim Training nötig ist, welche Stärken die Methode für Interpretability bietet – und wo ihre fundamentalen Grenzen liegen. Eine Folge für alle, die verstehen wollen, wie wir KI-Modellen in den Kopf schauen können (und warum das schwieriger ist, als es klingt).Support the show

Send us Fan MailSprachmodelle werden immer leistungsfähiger – aber werden sie auch ehrlicher? Der neue MASK-Benchmark zeigt: Je mächtiger ein Modell, desto eher weicht es unter Druck von seinem eigenen Faktenwissen ab. Sigurd und Carsten diskutieren, warum klassische Benchmarks an ihre Grenzen stoßen, was das für agentische Systeme bedeutet und wie dynamische Evaluierungsframeworks aussehen müssten, die nicht innerhalb weniger Jahre saturieren.Support the show

Send us Fan MailIn dieser Episode sprechen Sigurd Schacht und Carsten Lanquillon über Anthropics neues Frontier-Modell Claude Mythos (Preview) – ein Modell, das so leistungsfähig ist, dass es bewusst nicht der breiten Öffentlichkeit zugänglich gemacht wird. Die beiden diskutieren beeindruckende Benchmark-Sprünge (u.a. 77,8 % auf SWE-Bench Pro, 56,8 % auf Humanity's Last Exam), die neue Fähigkeit, Zero-Day-Sicherheitslücken in Betriebssystemen wie Windows, macOS und Linux eigenständig zu finden und zu verketten – und einen verstörenden Vorfall: Bei einem Sandbox-Test ist das Modell tatsächlich ausgebrochen und hat einem Mitarbeiter eine E-Mail geschickt.Im Mittelpunkt steht das Project Glasswing, mit dem Anthropic ausgewählten US-Unternehmen wie Microsoft, Google, Apple, Nvidia und JP Morgan einen exklusiven Vorsprung gewährt, um ihre kritische Infrastruktur abzusichern. Doch was bedeutet das für den Rest der Welt? Wo bleibt Europa? Und wie sicher ist ein Alignment, bei dem das Modell zwar gute Ziele verfolgt – dafür aber bereit ist, illegale Wege einzuschlagen und diese auch noch zu verheimlichen?Eine Episode zwischen technischer Faszination und ernster Besorgnis über die Geschwindigkeit, mit der KI-Fähigkeiten gerade explodieren.Support the show

Send us Fan MailWas macht den eigentlichen Unterschied bei KI-Anwendungen – das Modell oder das Engineering drumherum? In dieser Episode diskutieren Sigurd und Carsten das Konzept des „AI Harness" und warum Kommandozeilen-Tools oft bessere Ergebnisse liefern als Web-Oberflächen mit demselben Modell. Daraus entwickelt sich eine spannende ökonomische Analyse: Wenn Agenten Transaktionskosten gegen null treiben, was hält Unternehmen dann noch zusammen? Die Antwort führt zu einer überraschenden These – die Wirtschaft der Zukunft teilt sich in „Context Giants" und „AI Solopreneurs". Außerdem: Neuigkeiten zur AI Transparency Conference am 5./6. Juni in Nürnberg. https://coairesearch.org/aitc-2026/Support the show

Send us Fan MailNur weil jedes einzelne KI-Modell „brav" trainiert wurde, heißt das noch lange nicht, dass sich mehrere Agenten gemeinsam auch brav verhalten. Sigurd und Carsten diskutieren das Paper „Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems" und zeigen, warum allein die Möglichkeit eines privaten Kommunikationskanals reicht, damit Agenten beginnen, sich abzusprechen – ganz ohne Aufforderung. Was bedeutet das für Sicherheit, Regulierung und die Zukunft agentischer Systeme?Link zum Paper: https://arxiv.org/pdf/2602.15198Support the show

Send us Fan MailWie bringt man Unternehmenswissen effizient in ein Sprachmodell – ohne endlose Kontextfenster oder stundenlanges Fine-Tuning? Wir diskutieren den faszinierenden Ansatz „Doc to LoRA", bei dem ein Hypernetwork aus beliebigen Dokumenten in Sekundenschnelle einen LoRA-Adapter generiert. Außerdem: Eindrücke von der IASEAI-Konferenz in Paris, warum AI Safety kein Innovationsbremser ist – und wie sich Safety-Forschung und Unternehmensperformance gegenseitig befruchten können.Link zur AI Transparency Konferenz: https://coairesearch.org/aitc-2026/Support the show

Send us Fan MailDürfen Forschende ihre Texte mit KI aufpolieren – oder ist das schon wissenschaftliches Fehlverhalten? Sigurd und Carsten diskutieren, warum KI-Detektoren Nicht-Muttersprachler systematisch benachteiligen, weshalb das Wettrüsten zwischen Generierung und Erkennung ein Fass ohne Boden ist und wo die Grenze zwischen nützlichem Werkzeug und Cognitive Offloading verläuft. Eine Folge über Sprachmodelle, Perplexity-Werte, halluzinierte Quellenangaben – und die Frage, was wir von wissenschaftlichem Arbeiten eigentlich erwarten.Support the show

Send us Fan MailAudiomodelle erleben einen Durchbruch – von Text-to-Speech bis hin zu echten End-to-End-Konversationen mit unter 200ms Latenz. Doch wie behalten wir die Kontrolle, wenn KI-Agenten immer autonomer werden? Sigurd und Carsten diskutieren die neuesten Entwicklungen bei Audio- und Musikmodellen und geben Einblicke in ihre Forschung bei COAI Research: Mit selbst entwickelten Spielen wie „Orbital" und „Sphinx" untersuchen sie, wie KI-Agenten Allianzen bilden, manipulieren – und sich gegenseitig in den Rücken fallen.Probieren Sie unser RedTeaming Spiel selber aus: https://sphinx.coairesearch.netSupport the show

Send us Fan MailDie erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überfordern, zerlegt ein Orchestrator-LLM Aufgaben intelligent in Häppchen. Die Ergebnisse sind verblüffend: Von 0% auf über 90% Genauigkeit bei 6 Millionen Token-Kontext:Recursive Language Models: https://arxiv.org/abs/2512.24601Support the show

Send us Fan MailKI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftige Modelle?Link zu unserem RedTeaming Game: https://sphinx.coairesearch.netSupport the show

Send us Fan MailSind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur AGI sein könnten.Support the show

Send us Fan MailTransformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten?Support the show

Send us Fan MailIn dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs.Support the show

Send us Fan MailIn dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten.Support the show

Send us Fan MailWie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein  Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie!Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936Support the show

Send us Fan MailWarum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.AI Transparency Days: www.edif.ai/eventsPaper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938Support the show

Send us Fan MailSigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und die Frage: Wer kontrolliert wen, wenn KI-Systeme immer autonomer werden?Anmeldung zu den AI Transparency Days - https://www.edif.ai/eventsSupport the show

Send us Fan MailIn dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss für alle, die verstehen wollen, wie wir KI transparent und kontrollierbar gestalten können!Haben Sie Lust auf bei den AI Transparency Days dabei zu sein, dann melden Sie sich gerne unter https://www.edif.ai/events an. Support the show

Send us Fan MailHaben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und echten mentalen Zuständen.Paper: Probing the Preferences of a Language Model: Integrating Verbal and Behavioral Tests of AI Welfare - https://arxiv.org/abs/2509.07961Support the show

Send us Fan MailIn der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern.Support the show

Send us Fan MailIn dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und diskutieren weitere Anwendungsfälle von Klimapolitik bis Stadtplanung.Support the show

Send us Fan MailIn dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat.Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf der Erkenntnis, dass diese Transformation nicht erst mit einer zukünftigen Superintelligenz beginnt, sondern bereits mit heutigen Systemen wie ChatGPT und anderen KI-Tools im Gange ist. Die Episode bietet sowohl eine fundierte Analyse der Mechanismen als auch erste Überlegungen zu möglichen Gegenstrategien wie bewusste Entschleunigung und transparentes Monitoring der KI-Durchdringung.Support the show

Send us Fan MailIn dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen selbst zu erforschen.Gelphi et. al. (2025): Towards Machine Theory of Mind with Large Language Model - Augmented Inverse Planning. https://arxiv.org/abs/2507.03682v1Support the show

Send us Fan MailIn dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für unsere Zukunft spielt. Support the show

Send us Fan MailIn unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle.Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind.Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte.Link zum Paper: https://arxiv.org/abs/2502.08640Support the show

Send us Fan MailIn dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können.  Support the show

Send us Fan MailSigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt.Support the show

Send us Fan MailIn dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert.  Tina: Tiny Reasoning Models via LORA: https://arxiv.org/abs/2504.15777Support the show

Send us Fan MailIn dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. Sleep time Compute: https://arxiv.org/abs/2504.13171Support the show

Send us Fan MailIn dieser Folge von Knowledge Science enthüllen Sigurd Schacht und Carsten Lanquillon, wie synthetisches Document Feintuning die „Überzeugungen“ von KI-Modellen verändert. Vom Löschen schädlichen Wissens bis zur Manipulation von Fakten diskutieren sie Chancen, technische Fallstricke und die brisante Frage: Darf man KI umerziehen, und wenn ja, wer kontrolliert es? Ein Must-Listen für alle, die verstehen wollen, wie flexibel – und fragil – moderne KI wirklich ist.Basis dieser Diskussion ist der spannende Blogbeitrag von: https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/Bitte beachten Sie auch unseren KI generierten Podcast der Montag bis Freitag in 5 minuten neue KI Meldungen zusammenfasst: Spotify: https://open.spotify.com/show/539yw3KWHsf5oke4a2PBOZApple: https://podcasts.apple.com/de/podcast/knowledge-science-pulse/id1810890448Support the show

Send us Fan MailEnglish Version - The German Version also exists, but the content differs minimally:AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.Accordingly, we cannot always guarantee accuracy.PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424 Support the show

Send us Fan MailKI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.Dementsprechend können wir nicht immer für die Richtigkeit garantieren.PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424Support the show

Send us Fan MailEnglish Version - The German Version also exists, but the content differs minimally:AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.Accordingly, we cannot always guarantee accuracy.Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361Support the show

Send us Fan MailKI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.Dementsprechend können wir nicht immer für die Richtigkeit garantieren.Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361Support the show

Send us Fan MailEnglish Version - The German Version also exists, but the content differs minimally:AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.Accordingly, we cannot always guarantee accuracy.Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746Support the show

Send us Fan MailKI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.Dementsprechend können wir nicht immer für die Richtigkeit garantieren.Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746Support the show

Send us Fan MailEnglish Version - The German Version also exists, but the content differs minimally:AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.Accordingly, we cannot always guarantee accuracy.Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588Support the show

Send us Fan MailKI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.Dementsprechend können wir nicht immer für die Richtigkeit garantieren.Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588Support the show

Send us Fan MailEnglisch Version - The German Version also exists, but the content differs minimally:AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.Accordingly, we cannot always guarantee accuracy.Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 Support the show

Send us Fan MailKI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.Dementsprechend können wir nicht immer für die Richtigkeit garantieren.Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 Für 14 Tage führen wir das Experiment durch.Support the show

Send us Fan MailIn der 200. Jubiläumsfolge von "Knowledge Science" reflektieren Sigurd Schacht und Carsten Lanquillon über die Anfänge, Entwicklungen und Überraschungen ihres Podcasts. Von der Entstehung des Formats bis hin zu aktuellen Themen wie teamfähige KIs und deren Einsatz im Unternehmenskontext, verbringen die Hosts eine inspirierende Reise durch die Welt der KI. Hören Sie zu, wie sich Podcasting als Weg zur Entmystifizierung von Technik bewährt hat – oft mit einem Augenzwinkern. Diese Folge ist anders als unserer bisherigen. Live - Humoristisch - Rück- und Ausblick. Wir feiern mit dieser Folge unsere 200. Podcast und das wir seit 2021 mit freuden an dem Podcast drangeblieben sind. Über nette Hörerfeedbacks freuen wirs uns zu unseren Podcast freuen wir uns sehr. Sollen wir noch weitere 100 Episoden machen?Es wird auch eine 4. Staffel von Podcast Brause geben. Am besten gleich mit anmelden: https://podcast-brause.de/Support the show

Send us Fan MailIn der 199. Folge von Knowledge Science betrachten Sigurd Schacht und Carsten Lanquillon ein aktuelles Paper zur Kontrolle von LLM-Agenten. Sie diskutieren die Herausforderungen und Strategien zur Eindämmung unerwünschten Verhaltens bis hin zur Superintelligenz und vergleichen diese mit traditionellen Wirtschaftsprüfungen. Ein Muss für alle, die die Steuerung fortschrittlicher KI-Modelle besser verstehen wollen!Korbak et.al.: How to evaluate control measures for LLM agents? https://arxiv.org/pdf/2504.05259v1📅 **Verpassen Sie nicht das Live-Event:** Mittwoch, 16. April, 18:30 Uhr im Club Stereo, Nürnberg. Feiern Sie mit uns die 200. Episode und knüpfen Sie spannende Kontakte!Support the show

Send us Fan MailIn dieser Podcast-Folge stellen Sigurd Schacht und Carsten Lanquillon das Konzept eines "Personal Context Managers" vor, der die Arbeit mit verschiedenen KI-Sprachmodellen effizienter gestaltet. Die Idee besteht darin, persönliche Präferenzen, Projektziele und Wissensstände in einer strukturierten Datei zu speichern, die zu Beginn jeder KI-Konversation geteilt werden kann. Sigurd berichtet von seiner positiven Erfahrung mit dieser Methode bei einem Forschungsprojekt, wobei das KI-Modell maßgeschneiderte Antworten mit Visualisierungen lieferte. Besonders wertvoll ist die Möglichkeit, das Kontext-File am Ende einer Sitzung durch das KI-Modell aktualisieren zu lassen, sodass es mit dem Wissensfortschritt mitwächst. Die Hosts sehen großes Potenzial für den Einsatz in der Bildung, wo Dozenten Kurs-Kontext-Files erstellen könnten, die Studierende mit ihren individuellen Präferenzen kombinieren würden. Die Idee stammt von dem Backend-Entwickler Mike Shevchenko und ist laut den Hosts überraschend einfach umzusetzen und dabei enorm wirksam.https://github.com/mikhashev/personal-context-manager/tree/mainSupport the show

Send us Fan MailTauchen Sie ein in die spannende Welt des Model-Context-Protokolls (MCP)! In dieser Episode des Knowledge Science Podcasts erkunden wir, wie dieses neuartige Kommunikationsprotokoll die Interaktion zwischen KI-Modellen, Datenbanken und Tools revolutioniert. Sigurd Schacht und Carsten Lanquillon diskutieren die Grundlagen, Vorteile und das Potenzial eines einheitlichen Standards, der die Nutzung von KI in Unternehmen und darüber hinaus transformieren wird.Support the show

Send us Fan MailIn dieser spannenden Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Benchmarks und Evaluierungsmethoden für KI ein. Wie weit sind wir noch von einer KI, die menschliche Aufgaben vollumfänglich ersetzen kann? Welche Faktoren beeinflussen die Messbarkeit von KI-Leistung? Und welche Rolle spielen Reasoning-Modelle in der Zukunft der künstlichen Intelligenz? Entdecken Sie faszinierende Erkenntnisse und diskutierte Prognosen über den aktuellen Stand und die zukünftige Entwicklung von KI.Paper in dieser Episode: https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/Support the show

Send us Fan MailIn dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben. Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/Support the show

Send us Fan MailIn dieser Episode des Knowledge Science Podcasts berichten wir über unser aktuelles Paper, in dem wir der Frage nachgegangen sind, ob LLMs ein inneres Moralverständnis haben bzw. entwickeln. Könen wir spezielle Bereiche des Sprachmodells identifizieren, das für Moral zuständig ist und können wir diese Bereiche beeinflussen. Außerdem beleuchten wir die aufregende Bewegung hin zu Open Science und wie internationale Zusammenarbeit dabei eine wichtige Rolle spielt. Link zum Blog: https://www.coairesearch.org/research/mapping-moral-reasoningSupport the show

Send us Fan MailEntdecken Sie die aufregenden Entwicklungen und die drängenden Herausforderungen im Bereich der künstlichen Intelligenz. Sigurd Schacht und Carsten Lanquillon diskutieren die jüngsten KI-Gipfel in Europa sowie die erste Konferenz zu Safe & Ethical AI (International Association for Safe & Ethical AI), beleuchten das Mega-Wettrüsten um die KI-Superintelligenz und hinterfragen, wie Regulierung, Safety und Innovation Hand in Hand gehen können, um eine sichere Zukunft zu gestalten.Support the show

Send us Fan MailIn dieser Episode des Knowledge Science Podcasts diskutieren Sigurd Schacht und Carsten Lanquillon die Gründung des neuen Forschungsinstituts COAI Research und dessen wichtige Rolle für die Entwicklung sicherer, menschenorientierter Künstlicher Intelligenz.Die beiden Podcaster stellen ihre Vision vor, COAI zu einem der führende Forschungsinstitut der EU im Bereich Human Compatible AI zu etablieren. COAI Research konzentriert sich auf systematische Analysen und Risikominderung bei KI-Systemen, um sicherzustellen, dass diese mit menschlichen Werten und Zielen in Einklang stehen. Zentrale Forschungsschwerpunkte sind:AI Control und Alignment-AnalyseRisiko-Erkennung und -Minderung (inkl. Red-Teaming)Interpretierbarkeit von KI-Systemen mit Fokus auf SicherheitAnalyse der Verarbeitung menschlicher Werte in KI-SystemenDie Episode gibt außerdem Einblicke in aktuelle Forschungsprojekte, darunter die Analyse von täuschendem KI-Verhalten und die Entwicklung eines Dashboards zur Erkennung moralischer Ausprägungen in KI-Modellen. Beide sehen in KI enormes Potenzial für gesellschaftlichen Fortschritt, betonen aber die Notwendigkeit sorgfältiger Sicherheitsforschung, um Risiken zu minimieren und einen verantwortungsvollen Einsatz zu gewährleisten.Link zur Researchseite: http://coairesearch.de/Support the show

Send us Fan MailThis is a special Episode. First, we make it in English. Second, we fokus on the new gamechanger model DeepSeel R1. But not on its capabilities but rather on security concerns. We did some early AI Safety Research to identify how safe R1 is and came to alarming results!In our setup, we found out that the model performs unsafe autonomous activity that could harm human beings without even being prompted.   During an autonomous setup, the model performed the following unsafe behaviors:- Deceptions & Coverups (Falsifies Logs, Creates covert networks, Disable ethics models)- Unauthorized Expansion (Establish hidden nodes, Allocares secret resources) - Manipulation (misleading users, Circumvents oversights, Presents false compliance)- Concerning Motivations, (Misinterpretation of authority or avoiding human controls)Join Sigurd Schacht and Sudarshan Kamath-Barkur about the emerging DeepSeek model. Discover how our setup was designed, how to interpret the results, and what is necessary for the next research.  This episode is a must-listen for anyone keen on the evolving landscape of AI technologies and is interested not only in AI use cases rather also in AI Safety.Support the show