PodParley PodParley
PodParley
Episode 154 - Sind LLMs auf Benchmark Daten manipuliert? episode artwork

EPISODE · May 4, 2024 · 36 MIN

Episode 154 - Sind LLMs auf Benchmark Daten manipuliert?

from Knowledge Science - Alles über KI, ML und NLP · host Sigurd Schacht, Carsten Lanquillon

Send us Fan MailIn der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein. Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824Support the show

What this episode covers

Send us Fan Mail In der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein. Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824 Support the show

NOW PLAYING

Episode 154 - Sind LLMs auf Benchmark Daten manipuliert?

0:00 36:40

No transcript for this episode yet

We transcribe on demand. Request one and we'll notify you when it's ready — usually under 10 minutes.

Share this episode

Similar Episodes

#34 Wie geht es weiter mit den "China-Autos"?

Dec 30, 2024 ·19m

#33 Sind alternative Kraftstoffe eine wirkliche Alternative?

Dec 30, 2024 ·24m

#32 ELKWs - die Transportmittel der Zukunft?

Nov 19, 2024 ·18m

#31 Was bedeutet nachhaltige Mobilität für die ASFINAG?

Nov 6, 2024 ·20m

#30 Was gilt es bei der Versicherung eines E-Autos zu beachten?

Oct 23, 2024 ·15m

#29 Welche Rolle spielt die Diversität in der Mobilität?

Oct 9, 2024 ·20m

Similar Podcasts

MG Show MG Show The MG Show, hosted by Jeffrey Pedersen and Shannon Townsend, is a leading alternative media platform dedicated to uncovering the truth behind today’s most pressing political issues. Launched in 2019, the show has grown exponentially, offering unfiltered insights, comprehensive research, and real-time analysis. With a commitment to independent journalism and factual integrity, the MG Show empowers its audience with knowledge and encourages active participation in the political discourse. Flottengeflüster ALD Automotive Österreich | LeasePlan Beim Flottengeflüster powered by ALD Automotive | LeasePlan präsentieren Jörg Janik und Peter Gutenbrunner alle zwei Wochen spannende Informationen rund um das Thema nachhaltige Mobilität. Beide beschäftigen sich schon lange mit der Thematik und bringen umfangreiches Fachwissen mit. Sollten sie aber doch einmal nicht weiter wissen, werden unsere Expert*innen hinzugezogen, die ihnen gerne mit Rat und Tat zur Seite stehen. Denn sie wissen was sie wandern Manuel Andrack Alles über Premiumwanderwege, die schönsten Wege in Deutschland. Sensationelle Outdoor-Erlebnisse auf 750 Premiumwegen. Moderiert von Manuel Andrack (Sidekick der Harald Schmidt Show) und Klaus Erber (Vorsitzender des Deutschen Wanderinstituts.) The Professionals Infosys Knowledge Institute Lawyers, accountants, and consultants reveal their secrets to success and discuss future trends in The Professionals, an Infosys Knowledge Institute podcast. Hosted by Samad Masood, a former journalist and industry analyst with more than 20 years experience observing this dynamic and ever growing industry.

Frequently Asked Questions

How long is this episode of Knowledge Science - Alles über KI, ML und NLP?

This episode is 36 minutes long.

When was this Knowledge Science - Alles über KI, ML und NLP episode published?

This episode was published on May 4, 2024.

What is this episode about?

Send us Fan MailIn der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei...

Can I download this Knowledge Science - Alles über KI, ML und NLP episode?

Yes, you can download this episode by clicking the download button on the episode player, or subscribe to the podcast in your preferred podcast app for automatic downloads.
URL copied to clipboard!