贝叶斯之起因(概率论分析)

条件概率：P(X|Y)

联合概率：P(X, Y)

边缘概率：P(X), P(Y).

联合概率 = 条件概率 * 边缘概率

通常会用条件概率来解决逆问题。

• 逆问题是指：需要从结果反推原因的问题；
• 正问题是指：从原因推出结果。
  • 逆问题常见的有：
    • 通信：根据含有噪声的接收信号Y推测发送信号X；
    • 语音识别：根据苗科峰识别的音频波形数据Y推测语音信息X；
    • 文字识别：根据扫描仪读取的图像Y推测用户书写的文字X；
    • 邮件自动过滤：根据收到的邮件文本Y推测邮件的类型X（是否是广告等）
  • 通过随机变量X，Y来表述X，Y之间的关系。

• 贝叶斯公式讨论以下这种类型的问题：
  • 一致所有的P(原因)和P(结果|原因)
  • 求P(原因|结果)

其中，P(原因)称为先验概率，P(原因|结果)称为后验概率，响应的分布称为先验分布和后验分布。

• 独立性：
  • 如果问题中存在多个随机变量，我们首先会考察这些随机变量之间是否真的存在关联：：
    • 如果X与Y无关，则由X推Y就没有意义。
    • “独立”与“均匀分布”不同：P(Y=1|X=**) = P(Y=2|X=**) = P(Y=3|X=**)=....(并不满足独立性)
    • “独立”与“独立同分布”不同：P(X=1) = P(Y=1), P(X=2) = P(Y=2), P(X=3) = P(Y=3), ...
    • "独立"与“互斥”不同：独立性并不意味这“事件X=1与Y=1不会同时发生”，互斥反而表示X与Y之间不是独立的随机变量。
    • 独立性是指X与Y没有任何关联，我们无法根据Y来判断X的值

  满足的性质：

  • 条件概率与条件无关：P(X|Y) = P(X|-Y)
  • 添加或去除条件不影响：P(X|Y) = P(X)
  • 联合概率是边缘概率的乘积：P(X, Y) = P(X)*P(Y)