EPISODE · Jul 16, 2025 · 35 MIN
#219 - Az év válsága a benchmarkok körül forog
from Láncreakció · host Láncreakció Clementine
A nagy nyelvi modellek eredményességét nehéz mérni, hiszen egy meglehetősen szubjektív tevékenységet kellene összehasonlítható és objektív módon értékelni. A régebbi benchmark-adatbázisok, mint pl. az MMLU vagy a GPQA már nem jelentenek kihívást az LLM-eknek (ahogy ezt az LMArena Leaderboardján is láthatjuk), mert rájuk tanultak - de akkor mi a megoldás? Az Apple tanulmánya szerint (The Illusion of Thinking) úgysem tudnak komplex problémákat megoldani az LLM-ek, és Caiwei Chen is azt írja, hogy válságban a benchmarking (Can We Fix AI's Evaluation Crisis?). Amíg ezek vitatkoznak, mi versenyezhetünk az LLM-ekkel - ki az okosabb?
NOW PLAYING
#219 - Az év válsága a benchmarkok körül forog
No transcript for this episode yet
Similar Episodes
No similar episodes found.
Similar Podcasts
No similar podcasts found.