#149 測定で改善するAIと数字に支配される怖さ

AIのトークン削減率が再測定で約80%から40%強へ変わった経験を入り口に、測定が改善に欠かせない理由を話します。一方で、ベンチマークへの過学習や指標のハックが起こる怖さにも触れ、数字の前提条件・測定方法・目標設計まで見直す重要性を考えます。00:00 オープニング00:25 トークン削減率を80%から40%強へ訂正02:22 測定が改善に欠かせない理由03:42 xangi-searchで分かったRAG検索の課題05:22 マルチエージェントを数字で評価する06:28 AIスキルの時間・トークン・成功率を測る07:43 ベンチマークへの過学習という怖さ09:48 人間の組織でも起こる指標のハック13:01 前提条件と目標設計まで見直す14:15 エンディングリンク- AI上司とローカルLLM部下でトークンを節約できるか試したhttps://karaage.hatenadiary.jp/entry/2026/08/24/235910▼コミュニティ「からあげ帝国」への参加はこちら（Discord）https://discord.com/invite/PWpEB7KUsN