Episode 103 - Speed Up Inference - Speculative Decoding
Episode 103 of the Knowledge Science - Alles über KI, ML und NLP podcast, hosted by Sigurd Schacht, Carsten Lanquillon, titled "Episode 103 - Speed Up Inference - Speculative Decoding" was published on November 29, 2023 and runs 30 minutes.
November 29, 2023 ·30m · Knowledge Science - Alles über KI, ML und NLP
Summary
Send us Fan Mail In der heutigen Sendung sprechen wir über Speculative Decoding, eine Methode, mit der die Inferenzzeit um den Faktor 2 - 2,4x beschleunigt werden kann. Wie das Verfahren funktioniert und welche Möglichkeiten es schafft, erfahren Sie in dieser Sendung. Bleiben Sie dran. Vielen Dank auch an unseren Sponsor XL2: XL2 ist ein Joint Venture von Audi und Capgemini, dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbe...
Episode Description
In der heutigen Sendung sprechen wir über Speculative Decoding, eine Methode, mit der die Inferenzzeit um den Faktor 2 - 2,4x beschleunigt werden kann. Wie das Verfahren funktioniert und welche Möglichkeiten es schafft, erfahren Sie in dieser Sendung. Bleiben Sie dran.
Vielen Dank auch an unseren Sponsor XL2:
XL2 ist ein Joint Venture von Audi und Capgemini,
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.
Similar Episodes
Apr 9, 2026 ·26m
Mar 19, 2026 ·17m
Mar 5, 2026 ·16m
Feb 19, 2026 ·15m
Feb 5, 2026 ·15m
Jan 22, 2026 ·16m