机器学习 - 3 - 线性分类

符号约定

贝叶斯分类器

1. 基于最小错误率的决策
   • 符号约定：
     • 样本 $ \bold{x} \in R^d$
     • 状态（类） \(w = {w_1,w_2,\dots}\)
     • 先验概率 \(P(w_1),P(w_2)\)
     • 样本分布密度 \(p(x)\)
     • 类条件概率密度 \(p(\bold{x}|w_1),p(\bold{x}|w_2)\)
     • 后验概率 \(P(w_1|\bold{x}),P(w_2|\bold{x})\)
     • 错误概率
       \[P(e|\bold{x})\lbrace_{P(W_1|\bold{X}) \ if\ \bold{x}\ is\ assigned\ to\ w_2}^{P(W_2|\bold{X})\ if\ \bold{x}\ is\ assigned\ to\ w_1}\]
     • 平均错误率 \(P(e) = \int P(e|\bold{x})p(\bold{x})d\bold{x}\)
     • 正确率 \(P(c)\)
   • 策略：错误概率最小嘛，很简单易懂

     \[P(e|\bold{x})\lbrace_{P(W_1|\bold{X}), \ if\ P(w_1|\bold{x})>P(w_2|\bold{x})}^{P(W_2|\bold{X}), \ if\ P(w_1|\bold{x})<P(w_2|\bold{x})}\]

     所以：\(x\) 属于那种状态时的错误概率小，就认为 \(x\) 是那种状态

2. 基于最小风险的决策
   • 符号约定：
     • 样本 \(\bold{x}\in R^d\)
     • 状态（类） \(w = {w_1,w_2,\dots}\)
     • 决策， \(\alpha_i\) 表示将样本分类为 \(w_j,j\in1,\dots,n\)
     • 将真实标记为 \(w_j\) 的样本误分类为 \(w_i\) 所产生的损失 \(\lambda_{i,j}\)
     • 对于特定 \(x\) 采取决策 \(\alpha_i\) 的期望损失（基于后验概率 \(P(w_i|\bold{x})\) ）
       \[R(\alpha_i|\bold{x}) = \sum_{j=1}^{N}\lambda_{ij}P(w_j|\bold{x})\]
     • 期望风险，即对 \(x\) 所有可能的决策 \(\alpha(x)\) 所造成的期望损失之和，也称为平均风险
       \[R(\alpha) = \int R(\alpha(x)|x)p(x)dx\]
   • 策略：使 \(R(\alpha(x)|x)\) 最小

线性判别函数

1. 广义
2. 齐次化

线性分类器设计

1. 准则函数

多分类问题

原文地址：https://www.cnblogs.com/ChildishChange/p/9748954.html