EPISODE · May 20, 2026 · 13 MIN
#21 AI の評価が新しい計算ボトルネックになっている？
from AI Shift Academy · host 株式会社AI Shift
Hugging Face / EvalEval Coalition のブログ "AI evals are becoming the new compute bottleneck" を読んで、AI評価のコスト問題について話しました。HAL、GAIA、τ-bench、PaperBench の実コスト、pass^k による信頼性測定、Every Eval Ever の取り組みなどを扱います。
What this episode covers
Hugging Face / EvalEval Coalition のブログ "AI evals are becoming the new compute bottleneck" を読んで、AI評価のコスト問題について話しました。HAL、GAIA、τ-bench、PaperBench の実コスト、pass^k による信頼性測定、Every Eval Ever の取り組みなどを扱います。
NOW PLAYING
#21 AI の評価が新しい計算ボトルネックになっている？
No transcript for this episode yet
Similar Episodes
No similar episodes found.
Similar Podcasts
No similar podcasts found.