2-5 AIはどうやって賢くなるのか？ — 勾配降下法と「学習」の数学

どんなに優れた脳（アーキテクチャ）を持っていても、適切なトレーニングがなければAIは機能しません。このエピソードでは、モデルが膨大なデータから自分の間違いを修正し、徐々に正解に近づいていく「学習（最適化）」のプロセスを、数理的な視点から解説します。主なトピック：• 損失関数（Loss Function）：モデルの予測と正解のズレ（誤差）を数値化する「採点基準」。LLMで標準的に使われる「クロスエントロピー損失」が、どのようにモデルの「迷い」や「間違い」を測っているのか。• 勾配降下法（Gradient Descent）：誤差を最小にするために、パラメータを少しずつ調整して「山を下る」イメージで最適解を探すアルゴリズム。• バックプロパゲーション（誤差逆伝播法）：出力された誤差をネットワークの逆向きに辿り、どのパラメータをどう修正すべきかを効率的に計算する、ディープラーニングの心臓部。• 学習の課題と工夫：学習が止まってしまう「勾配消失」や、計算が不安定になる「勾配爆発」といった問題と、それを防ぐためのテクニック（正則化や最適化アルゴリズム）について。