机器学习算法整理（四）

文章目录

SVM支持向量机

SVM支持向量机

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）

数学模型

$min(w,b) \{\frac{1}{2}w^Tw\}$ $s.t. \space y_i(w^Tx_i+b) \ge1$ $h(x) = sign(w^T+b)$
带松弛变量的SVM数学模型：
$min(w,b) \{\frac{1}{2}w^Tw+C\sum_i\xi_i\}$ $s.t. \space y_i(w^Tx_i+b) \ge1-\xi_i, \xi_i>0$ $h(x) = sign(w^T+b)$
$C控制的是松弛度，越小越松弛