SVMについて
SVMとは
SVMとは主にクラス分類に用いられる手法であり，大きく分けて３つの種類があります．以下ではその3つについて簡単に説明します．
ハードマージンSVM
ハードマージンSVMは訓練サンプルが線形分離可能である場合に，考えられる分離直線のうち訓練サンプルを最も余裕をもって分離する直線を求める手法です．
以下のようなイメージです．
赤と青のクラスが直線によって分離されています．ハードマージンSVMではこの直線のパラメータを更新し，２つのクラスを最も余裕をもって分離するように最適化します．これにより，未学習データに対しても高い分類性能が期待できるのです．
ソフトマージンSVM
ソフトマージンSVMは分布に重なりがある訓練サンプル，つまりは線形分離不可能なサンプルに対して，分類の誤りを許容しつつもある程度の分類性能が得られるような分離直線を求める手法です．
以下のようなイメージです．
先ほどのハードマージンSVMとは訓練サンプルについての前提条件が違うため，線形分離することは不可能です．しかし，誤分類の数に対して，正しく分類できているサンプルが多いという点で，ある程度の分類性能が確保されていると捉えることができます．ハードマージンSVMよりも柔軟な対応をしてくれるSVMです．
カーネルトリックSVM
カーネルトリックSVMは，線形分離不可能（非線形）なデータを高次元空間へと写像し，写像先の空間で高い分類性能を発揮することを目指す手法です．高次元空間への写像とは，既存の特徴量を新たな特徴量へと変換することで空間の軸を増やすイメージです．
以下の図のような感じです．
2次元空間では線形分離不可能なデータが，3次元空間へと写像することで平面によって線形分離できています．
上図における特徴量�3が既知の特徴量を新たな特徴量に変換したものです．
しかし，高次元空間へ写像したとしても，訓練サンプルが線形分離可能になるとは限りません．そのような場合は高次元空間でソフトマージンSVMを適用します．
カーネルトリックSVMはハードマージンSVMとソフトマージンSVMを包含しており，高い分類性能を獲得するためにデータ空間の次元を変えるパワフルなSVMだといえます．
2025年5月11日 | カテゴリー：自然科学的基礎知識//物理学、統計学、有機化学、数学、英語 |
