【パターン認識ラジオ】09-4 線形カーネルSVCのラグランジュ関数

学ぶあなたの応援団長、そして、夢と科学のくに東京カンタァーランドのメインキャラクターをやらしてもらってます、橘カンタァーです。 ご存じの通り、承認と共創の時代になりました。 お聴きの皆さんが生まれながらに持っているやさしさ・仁・愛・志を、具現化できる力、思考力・言語化力・体験力、を身に付けましょう。 知識を持っているだけの価値は無くなりました。 耳十割目十割心十割で聴く姿勢と、その姿勢を維持する脊柱起立筋や表情筋の筋持久力をコツコツ高めましょう。 「2024年度 ＩＣＴ利用による教育改善研究発表会」で「Podcastを活用したマルチモーダル予習による主体性と共創力の向上効果」を発表します！ リサーチラボノートは100冊発注しましたので、1冊目を使い果たしたら、discordのDMで言ってください。お届けします。 縦に展開していくと、眼球の移動距離が短くて首を縦に振る筋肉を使うので、「できる！わかる！」という気分になりやすいですね！ 線形カーネルを持つサポートベクターマシン（SVM）の主問題（プライマル問題）を双対問題に変換する過程を示します。### 主問題（プライマル問題）線形SVMの主問題は次のように表されます：\[ \min_{\mathbf{w}, b, \xi} \frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^{n} \xi_i \]制約条件：\[ y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0 \quad \forall i \]ここで、\(\mathbf{w}\)は重みベクトル、\(b\)はバイアス、\(\xi_i\)はスラック変数、\(C\)は正則化パラメータ、\(\mathbf{x}_i\)は特徴ベクトル、\(y_i\)はラベルです。### 双対問題まず、ラグランジュ関数を構築します。ラグランジュ乗数\(\alpha_i \geq 0\)と\(\mu_i \geq 0\)を用います：\[ L(\mathbf{w}, b, \xi, \alpha, \mu) = \frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^{n} \xi_i - \sum_{i=1}^{n} \alpha_i \left[ y_i (\mathbf{w} \cdot \mathbf{x}_i + b) - 1 + \xi_i \right] - \sum_{i=1}^{n} \mu_i \xi_i \]次に、ラグランジュ関数を\(\mathbf{w}\)、\(b\)、および\(\xi\)で偏微分し、それらをゼロと置きます：1. \(\frac{\partial L}{\partial \mathbf{w}} = \mathbf{w} - \sum_{i=1}^{n} \alpha_i y_i \mathbf{x}_i = 0 \implies \mathbf{w} = \sum_{i=1}^{n} \alpha_i y_i \mathbf{x}_i \)2. \(\frac{\partial L}{\partial b} = \sum_{i=1}^{n} \alpha_i y_i = 0 \)3. \(\frac{\partial L}{\partial \xi_i} = C - \alpha_i - \mu_i = 0 \implies \alpha_i + \mu_i = C \)これをラグランジュ関数に代入し、双対問題を得ます：\[ \max_{\alpha} \sum_{i=1}^{n} \alpha_i - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \]制約条件：\[ \sum_{i=1}^{n} \alpha_i y_i = 0 \]\[ 0 \leq \alpha_i \leq C \]### まとめ双対問題は以下のように表されます：\[ \max_{\alpha} \sum_{i=1}^{n} \alpha_i - \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \]制約条件：\[ \sum_{i=1}^{n} \alpha_i y_i = 0 \]\[ 0 \leq \alpha_i \leq C \]この双対問題を解くことで、最適な\(\alpha_i\)を求め、それを用いて重みベクトル\(\mathbf{w}\)やバイアス\(b\)を再計算します。 ではまた！