2-1 LLMの「思考」を数学で読み解く — 確率・情報量・ベクトルの世界

大規模言語モデル（LLM）は魔法のように見えますが、その裏側には確固たる数学的構造が存在します。このエピソードでは、書籍の第1章「LLMを理解するのに必要な数学の基礎」に焦点を当て、AIが言葉を扱う仕組みを数学的な視点から紐解きます。主なトピック：• 数式は「言葉の圧縮」：記号（P、Σ、logなど）への苦手意識をなくし、数式を「思考の道具」として捉え直します。• 確率論と予測：AIはどのようにして「次の単語」を選んでいるのか？言葉の曖昧さを確率（P(A∣B)）で捉える仕組みを解説します。• 情報量とエントロピー：モデルの「迷い」や情報の「驚き」を数値化する「エントロピー」の概念について。• 線形代数とベクトル：言葉の意味を「空間上の点」として配置し、計算可能にする「埋め込み表現」の基礎。高校数学を「再起動」し、ブラックボックスに見えるLLMの中身を直感的に理解するための第一歩を踏み出しましょう。