一、概率是什么
概率是表示某种情况（事件）出现的可能性大小的一种数量指标，它介于0与1之间。
1.1 主观概率
凭着经验和知识对事件发生的可能性作出的一种主观估计，主观概率可以理解为一种心态或倾向性。
1.2 等可能试验
假定某个试验有有限个可能的结果$e_1,e_2,\dots,e_N$。假定从该试验的条件及实施方法去分析，我们找不到任何理由认为其中某一结果，例如$e_i$，比任一其他结果，例如$e_j$，更具有优势（即更倾向于易发生），则我们只好认为，所有结果$e_1,e_2,\dots,e_N$在试验中有同等可能的出现机会，即$1/N$的出现机会。常常把这样的试验结果称为“等可能的”。
1.3 古典概率的定义
设一个试验有$N$个等可能的结果，而事件$E$恰包含中的$M$个结果，则事件$E$的概率，记为$P(E)$，定义为：
$$P(E)=M/N$$
上面的古典定义它只能用于全部试验结果为有限个，且等可能性成立的情况，某些情况下，这个概念可以引申到试验结果有无限多的情况。
1.4 几何概率
甲、乙二人约定1点到2点之间在某处碰头，约定先到者等候10分钟即离去。设想甲、乙二人各自随意地在1-2点之间选一个时刻到达该处，问“甲乙二人能碰上”这事件$E$的概率是多少？
如果我们以一个坐标系来代表所有事件发生的平面，则$x$轴代表甲出发的时刻，$y$轴代表乙出发的时刻，如果甲乙能碰上则必须满足：
$$|x-y|<10$$
可以计算在坐标轴平面上，满足上面不等式的区域的面积。
1.5 概率的频率定义方法
1）与考察事件A有关的随机现像可大量重复进行
2）在$n$次重复试验中，记$n(A)$为事件$A$出现的次数，又称$n(A)$为事件$A$的频数。称$f_n(A)=\frac{n(A)}{n}$为事件$A$出现的频率。
3）人们的长期实践表明：随着试验重复次数$n$的增加，频率$f_n(A)$会稳定在某一常数$a$附近，我们称这个常数为频率的稳定值。这个频率的稳定值就是我们所求的概率。
二、古典概率的计算
2.1 两个原理
1）乘法原理
如果某件事需经过$k$个步骤才能完成，做第一步有$m_1$种方法，做第二步有$m_2$种方法……做第$k$步有$m_k$种方法，那么完成这件事共有$m_1\times m_2\times\dots\times m_k$种方法。
2）加法原理
如果某件事可由$k$类不同途径之一去完成，在第一类途径中有$m_1$种完成的方法，在第二类途径中有$m_2$种完成的方法……在第$k$类途径中有$m_k$种完成的方法，那么完成这件事共有$m_1+m_2+\dots+m_k$种方法。
2.2 排列与组合
按照古典概率公式的定义，古典概率的计算归结为计算两个数$M$和$N$。这种计算大多数涉及排列组合。二者的区别在于，排列要计较次序而组合不计较：ab和ba是不同的排列，但是是相同的组合。
定义1：$n$个相异物件取$r$个($1\le r \le n$)的不同排列总数为
$$P_{r}^{n}=n(n-1)(n-2)\dots (n-r+1)$$
特别地，当$n=r$时，得到$P_{r}^{r}=r(r-1)\dots 1=r!$，称为$r$的一个全排列。
定义2：$n$个相异物件取$r$个($1\le r \le n$)的不同组合总数为
$$C_r^n=P_r^n/r!=n!/(r!(n-r)!)$$
有些书中把记号$C_r^n$写为$C_n^r$。$C_r^n$的一个更通用的记号是$\begin{pmatrix}n\\r\\ \end{pmatrix}$。我们后面将用$\begin{pmatrix}n\\r\\ \end{pmatrix}$取代$C_r^n$。我们很容易推导出$\begin{pmatrix}n\\0\\ \end{pmatrix}=1$且有，
$$\begin{pmatrix}n\\r\\ \end{pmatrix}=n(n-1)\dots (n-r+1)/r!$$
2.3 与二项式展开的关系
组合系数$\begin{pmatrix}n\\r\\ \end{pmatrix}$又常称为二项式系数，因为它出现在下面熟知的二项式展开的公式中：
$$(a+b)^n=\sum_{i=0}^n\begin{pmatrix}n\\r\\ \end{pmatrix}a^ib^{n-i}$$
这面这个公式的证明很简单：因为，$(a+b)^n=(a+b)(a+b)\dots(a+b)$.为了产生$a^ib^{n-i}$这一项，在这$n$个$(a+b)$中，要从其中的$i$个取出$a$，另$n-i$个取出$b$。从$n$个中取出$i$个的不同取法为$\begin{pmatrix}n\\r\\ \end{pmatrix}$，这也就是$a^ib^{n-i}$这一项的系数。
2.4 分堆问题
$n$个相异物件分成$k$堆，各堆物体数分别为$r_1,r_2,\dots,r_k$的分法是
$$\frac{n!}{r_1!\dots r_k!}$$
此处$r_1,r_2,\dots,r_k$都是非负整数，其和为$n$
三、事件的运算
3.1 事件的蕴含、包含及相等
在同一试验下的两事件$A$和$B$，如果当$A$发生时$B$必发生，则称$A$蕴含$B$，或者说$B$包含$A$，记为$A\subset B$。若$A,B$互相蕴含，即$A\subset B$且$B\subset A$，则称$A,B$两事件相等，记为$A=B$。
如下图中所示，方框如果是一个靶，则如果击中了A，则一定击中了B。A和B相比A更难发生一些，因而其概率就必然小于至多等于B的概率。
3.2 事件的互斥和对立
若两件事A和B不能在同一次试验中都发生（但可以都不发生），则称它们是互斥的。如果一些事件中任意两个都互斥，则称这些事件是两两互斥的，或简称互斥的。
如掷一个骰子时，掷出1点和掷出2点这两个事件就是互斥的，它两不可能同时发生，但可以都不发生。
互斥事件一个重要的情况是“对立事件”，若A为一事件，则事件$B=\{A不发生\}$称为A的对立事件，多记为$\bar{A}$（也记为$A_c$）。
如掷一个骰子时，掷出是奇数点与掷出是偶数点就是对立事件。
3.3 事件的和
设有两事件A，B，定义一个新事件C如下：
$C=\{A发生，或B发生\}=\{A,B至少发生一个\}$
这样定义的事件C称为A与事件B的和，记为$C=A+B$。
推广到多个事件的情形，设有若干个事件$A_1,A_2,\dots,A_n$。它们的和A，定义为事件
$A=\{A_1发生，或A_2发生，\dots，或A_n发生\}=\{A_1,A_2,\dots,A_n至少发生一个\}$
3.4 概率的加法定理
公理
若干个互斥事件之和的概率，等于各事件的概率之和：
$$P(A_1+A_2+\dots)=P(A_1)+P(A_2)+\dots$$
推论
以$\bar{A}$表示A的对立事件，则
$$P(\bar{A})=1-P(A)$$
3.5 事件的积、事件的差
设有两件事A，B，则如下定义的事件C
$$C=\left\{A,B都发生\right\}$$
多个事件$A_1,A_2,\dots$（有限或无限个都可以）的积的定义类似：$A=\{A_1,A_2,\dots都发生\}$，记为$A=A_1A_2\dots$，或$\prod_{i=1}^{n}A_i$
两个事件A,B之差，记为$A-B$，定义为：
$$A-B=\{A发生，B不发生\}=A\bar{B}$$
四、条件概率与独立性
4.1 条件概率的定义
设有两事件A,B而$P(B)\ne 0$。则“在给定B发生的条件下A的条件概率”，记为$P(A|B)$，定义为
$$A(A|B)=P(AB)/P(B)$$
4.2 事件的独立性，概率乘法定理
设有两事件$A,B$，$A$的无条件概率$P(A)$与其在给定$B$发生之下的条件概率$P(A|B)$，一般是有差异的。这反映了这两事件之间存在着一些关联。例如，若$P(A|B)>P(A)$，则B的发生使A发生的可能性增大了：B促进了A的发生。
反之，若$P(A|B)=P(A)$，则B的发生与否对A发生可能性毫无影响。这时在概率论上就称A，B两事件独立。我们很容易得到
$$P(AB)=P(A)P(B)$$
对于满足上面公式的两件事件A，B，称A，B独立。上面的公式也即为概率的乘法定理。
判断事件是相互独立，有时并不是通过上面的公式去判定。
假设掷3个骰子，定义下面两个事件A和Ｂ。A＝{至少有一个骰子掷出１}，事件B＝｛三个骰子掷出的点数中至少有两个一样｝，问A，B是否独立？
初看往往会觉得A与B独立，因为一个关心的是掷出的点数，另一个是掷出的同样性（不关心点数是多少）。也就是有没有掷出1好像对事件B没有利也没有害。
换一个角度，考虑A的对立事件，即没有一个骰子掷出1，说明三个骰子掷出的点数为{2,3,4,5,6}那么，事件B中，每个骰子最多只有5个结果了，相比原来少了一种可能性，那么显然B事件发生最终的概率也变了。
若干个独立事件$A_1,A_2,\dots$为有限或无限个事件。如果从其中任意取出有限个$A_{i_1},A_{i_2},\dots,A_{i_m}$都成立
$$ P(A_{i_1} A_{i_2}\dots A_{i_m})=P(A_{i_1})P(A_{i_2})\dots P(A_{i_m})$$
则称事件$A_1,A_2,\dots$相互独立。也就是说，对一任意一件事A，其他事件的发生与否对事件A的发生没有影响。
若干个独立事件$A_1,\dots,A_n$之积的概率，等于各事件概率的乘积：
$$P(A_1\dots A_n)=P(A_1)\dots P(A_n)$$
乘法定理的作用与加法定理一样：把复杂事件的概率的计算归结为更简单的事件概率的计算，这当然要有条件，相加是互斥，相乘是独立。
4.3 全概率公式与贝叶斯公式
全概率公式
设$B_1,B_2,\dots$为有限个或无限个事件，它们两两互斥且在每次实验中至少发生一个，用式表示之，即
$$B_iB_j=\varnothing（不可能事件），当i \ne j \\ B_1+B_2+\dots=\Omega（必然事件）$$
有时把具有这些性质的一组事件称为一个“完备事件群”。注意，任一事件B及其对立事件组成一个完备事件群。
现在考虑任一事件A，因为$\Omega$为必须事件，有$A=A\Omega=AB_1+AB_2+\dots$。因为$B_1B_2,\dots$两两互斥，显然$AB_1,AB_2,\dots$也两两互斥。根据加法定理有
$$P(A)=P(AB_1)+P(AB_2)+\dots$$
再由条件概率的定义，有$P(AB_i)=P(B_i)P(A|B_i)$，代入上式得
$$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\dots$$
上面的公式即为全概率公式。
实用意义：在较复杂的情况下直接算$P(A)$不易，但A总是随着某个$B_i$伴出，适当去构造这一组$B_i$往往可以简化计算。
贝叶斯公式
在全概率公式的假定之下，有
$$P(B_i|A)=P(AB_i)/P(A)=\frac{P(B_i)P(A|B_i)}{\sum_jP(B_j)P(A|B_j)}$$
上面就是著名的贝叶斯公式。
意义：先看$P(B_1),P(B_2),\dots$，它是没有进一步的信息（不知事件A是否发生）的情况下，人们对事件$B_1,B_2,\dots$发生可能性大小的认识。现在有了新的信息（知道A发生），人们对$B_1,B_2,\dots$发生可能性大小有了新的估价。
如果我们把事件A看成“结果”，把诸事件$B_1,B_2,\dots$看成导致这结果的可能的“原因”，则可以形象地把全概率公式看作为“由原因推广结果”；而贝叶斯公式则恰好相反，其作用在于“由结果推原因”：现在有一个“结果A已发生了”，在众多可能的原因中，到底哪一个导致了这结果？贝叶斯公式说，各原因可能性大小与$P(B_i|A)$成比例。
概率与统计 知识回顾(一) 事件的概率