概率论与数理统计笔记01——随机事件与概率

Share

参考教材：印凡成, 夏乐天, 等. 概率论与数理统计[M]. 第三版. 南京: 河海大学出版社, 2004,1:34.

随机事件与概率

基本概念

  • 确定性现象：在一定条件下必然发生
  • 随机现象：在个别试验中其结果呈现出不确定性，在大量重复试验中其结果又具有统计规律性的现象
  • 随机试验：
    • 可在相同条件下重复进行
    • 试验结果不止一个，但能确定所有的可能结果
    • 一次试验之前无法确定具体是哪种结果出现
  • 样本空间 $\varOmega$ ：随机试验 $E$ 的所有可能试验结果组成的集合，记为 $\varOmega$
  • 样本点：组成样本空间的元素，即随机试验 $E$ 的每个可能结果，记为 $\omega$ ，又叫基本事件
  • 随机事件：试验 $E$ 的样本空间 $\varOmega$ 的子集称为 $E$ 的随机事件，简称事件，记为 $A$ 、 $B$ 等。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。
  • 基本事件：由一个样本点构成的单点集。同样本点
  • 必然事件：在每次试验中总是发生的事件。比如样本空间 $\varOmega$ 。样本空间一定是必然事件，必然事件不一定是样本空间。
  • 不可能事件：每次试验当中都不发生的事件。比如空集 $\phi$

事件之间的关系

包含关系

  • $A\subset B \Leftrightarrow A\text{发生必导致}B\text{发生}$
  • $A=B\Leftrightarrow A\subset B \wedge B\subset A$

和事件

  • $A\cup B=\left\{x\mid x\in A \vee x\in B \right\}\Leftrightarrow A\text{与}B\text{至少发生一个}$
  • $\cup_{k=1}^nA_k\Leftrightarrow n\text{个事件}A_1,A_2,…,A_n\text{的和事件}$
  • $\cup_{n=1}^\infty A_n\Leftrightarrow \text{可列个事件}A_1,A_2,…,A_n,…\text{的和事件}$

积事件

  • $A\cap B=AB=\left\{x\mid x\in A \wedge x\in B \right\}\Leftrightarrow A\text{与}B\text{同时发生}$
  • $\cap_{k=1}^nA_k\Leftrightarrow n\text{个事件}A_1,A_2,…,A_n\text{的积事件}$
  • $\cap_{n=1}^\infty A_n\Leftrightarrow \text{可列个事件}A_1,A_2,…,A_n,…\text{的积事件}$

差事件

  • $A-B=\left\{x\mid x\in A \wedge x\notin B \right\}\Leftrightarrow A\text{发生但}B\text{不发生}$

互不相容或互斥

  • $A\cap B=\phi\Leftrightarrow A\text{、}B\text{互不相容或互斥}$

基本事件是两两互不相容的事件

对立事件或逆事件

  • $A\cap B=\phi\wedge A\cup B=\varOmega\Leftrightarrow A\text{与}B\text{互为逆事件或对立事件}$
  • $A$ 的对立事件记为 $\overline A$
  • $\overline A=\varOmega - A$

事件的运算

  1. 交换率 $A\cup B=B\cup A, AB=BA$
  2. 结合率 $(A\cup B)\cup C=A\cup (B\cup C), (AB)C=A(BC)$
  3. 分配率
    • $(A\cup B)C=AC\cup BC$
    • $(AB)\cup C=(A\cup C)(B\cup C)$
  4. 对偶 (De Morgan) 率
    • $\overline{A\cup B}=\overline A\cap\overline B$
    • $\overline{AB}=\overline A\cup\overline B$
    • 推广:
      • $\overline{\cup_kA_k}=\cap_k\overline{A_k}$
      • $\overline{\cap_kA_k}=\cup_k\overline{A_k}$

频率与概率

频率

事件 $A$ 在 $n$ 次重复试验中出现 $n$ 次，则比值 $\frac{n_A}n$ 称事件 $A$ 在 $n$ 次重复试验中出现的频率，记为 $f_n(A)$ 。即 $f_n(A)=\frac{n_A}n$

频率的性质：

  1. 非负性 $f_n(A)\ge 0$
  2. 规范性 $f_n(\varOmega)=1$
  3. 有限可加性 若 $A_1, A_2, …, A_m$ 为两两互不相容的事件，则 $f_n(A_1\cup A_2\cup…\cup A_m)=f_n(A_1)+f_n(A_2)+…+f_n(A_m)$

实践证明，当试验次数 $n$ 增大时， $f_n(A)$ 逐渐趋向一个定值。

概率

若对随机试验 $E$ 所对应的样本空间 $\varOmega$ 中的每一事件 $A$ ，均赋予一实数 $P(A)$ ，集合函数 $P(A)$ 满足条件：

  1. 非负性 对任一事件 $A$ ，有 $P(A)\ge 0$
  2. 规范性 $P(\varOmega)=1$
  3. 可列可加性 若 $A_1, A_2, …$ 是一列两两互不相容的事件，即 $A_iA_j=\phi,(i\ne j),i,j=1,2,…$ ，有 $P(A_1\cup A_2\cup…)=P(A_1)+P(A_2)+…$

则称 $P(A)$ 为事件 $A$ 发生的概率。

事实上， $f_n(A)\stackrel P\rightarrow P, n\rightarrow\infty$

概率的性质

  1. $P(\phi)=0$
  2. 有限可加性 若 $A_1, A_2, …, A_n$ 是 $n$ 个两两互不相容的事件，即 $A_iA_j=\phi,(i\ne j),i,j=1,2,…n$ 则有 $P(A_1\cup A_2\cup…\cup A_n)=P(A_1)+P(A_2)+…P(A_n)$
  3. 单调不减性 若事件$B\supset A$ ，则 $P(B)\ge P(A)$ 且 $P(B-A)=P(B)-P(A)$
  4. 互补性 $P(\overline A)=1-P(A)$ 且 $P(A)\le 1$
  5. 加法公式 对任意两事件 $A$ 、 $B$ 有 $P(A\cup B)=P(A)+P(B)-P(AB)$ 。可推广到任意 $n$ 个事件 $A_1, A_2, …, A_n$ 的情形 $P(\cup_{i=1}^nA_i)=\sum_{i=1}^nP(A_i)-\sum_{1\le i\lt j\le n}P(A_iA_j)+\sum_{1\le i\lt j\lt k\le n}P(A_iA_jA_k)+…+(-1)^nP(A_1A_2…A_n)$
  6. 可分性 对任意两事件 $A$ 、 $B$ ，有 $P(A)=P(AB)+P(A\overline B)$

古典概型/等可能概型

特征：

  1. 样本空间的元素只有有限个
  2. 试验中每个基本事件发生的可能性相同

满足上述两个特征的试验称为等可能概型（或古典概型）

  • 有限性 样本空间 $\varOmega=\{\omega_1, \omega_2, …, \omega_n\}$
  • 等可能性 $P(\omega_i)=\frac1n, (i=1,2,…,n)$

$P(A)=\frac{A \text{中所含的样本点数}}{\varOmega \text{中样本点总数}}=\frac kn$

几何概型

特征：

  1. 基本事件无限 $\varOmega=\{\omega\}$
  2. 等可能性 随机点落在某区域 $G$ 的概率与区域 $G$ 的长度/面积/体积等成正比，而与其位置及形状无关

以 $A_G$ 表示“在区域 $\varOmega$ 中随机地取一点落在区域 $G$ 中”这一事件，则 $P(A_G) = \frac{G \text{的测度}}{\varOmega \text{的测度}}=\frac{\mu(G)}{\mu(\varOmega)}$

条件概率

假定 $B$ 已发生的情形下 $A$ 发生的概率，记为 $P(A\mid B)$

设 $A$ 、 $B$ 是 $\varOmega$ 中的两个事件，且 $P(B)>0$ ，称 $P(A\mid B)=\frac{P(AB)}{P(B)}$ 为事件 $B$ 发生的条件下事件 $A$ 发生的条件概率。

性质

  1. $o\le P(A\mid B)\le1$
  2. $P(\varOmega\mid B)=1$
  3. 设 $A_1, A_2, …$ 是一列两两互不相容的事件，则 $P(\cup_{i=1}^\infty A_i\mid B)=\sum_{i=1}^\infty P(A_i\mid B)$
  4. $P(A_1\cup A_2\mid B)=P(A_1\mid B)+P(A_2\mid B)-P(A_1A_2\mid B)$ 、 $P(\overline A\mid B)=1-P(A\mid B)$ 等

乘法公式

$P(AB)=P(A\mid B)P(B)$

推广到三个事件： $P(ABC)=P(C\mid AB)P(B\mid A)P(A)$

一般地，有 $P(\cap_{i=1}^nA_i)=P(A_1)\Pi_{i=2}^nP(A_i\mid\cap_{j=1}^{i-1}A_j)$

划分/完备事件组

事件组 $B_1, B_2, …, B_n(n \text{可为} \infty)$ 若满足

  1. $\cup_{i=1}^nB_i=\varOmega$
  2. $B_iB_j=\phi, (i\ne j), i, j=1, 2, …, n$

则称为样本空间 $\varOmega$ 的一个划分（或完备事件组）

全概率公式与 Bayes 公式

全概率公式：

设 $B_1, …, B_n$ 是 $\varOmega$ 的一个划分，且 $P(B_i)\gt 0, (i=1,…,n)$

则对任何事件 $A$ ，有 $P(A)=\sum_{i=1}^nP(AB_i)=\sum_{i=1}^nP(B_i)P(A\mid B_i)$

贝叶斯公式或逆概率公式：

设 $B_1, …, B_n$ 是 $\varOmega$ 的一个划分，且 $P(B_i)\gt 0, (i=1,…,n)$

则对任何事件 $A$ ，有 $P(B_j\mid A)=\frac{P(AB_j)}{P(A)}=\frac{P(B_j)P(A\mid B_j)}{P(A)}=\frac{P(B_j)P(A\mid B_j)}{\sum_{i=1}^nP(B_i)P(A\mid B_i)}$

事件的独立性

如果 $B$ 的发生并不影响 $A$ 发生的概率，那么 $A$ 和 $B$ 是独立的。

$P(A)=P(A\mid B)$

$P(AB)=P(A)P(B)$

以下命题等价：

  • 事件 $A$ 、 $B$ 相互独立
  • 事件 $\overline A$ 、 $B$ 相互独立
  • 事件 $A$ 、 $\overline B$ 相互独立
  • 事件 $\overline A$ 、 $\overline B$ 相互独立

若事件 $A$ 、 $B$ 、 $C$ 满足

  • $P(AB)=P(A)P(B)$
  • $P(BC)=P(B)P(C)$
  • $P(AC)=P(A)P(C)$

则称事件 $A$ 、 $B$ 、 $C$ 两两相互独立

若在此基础上还满足

$P(ABC)=P(A)P(B)P(C)$

则称事件 $A$ 、 $B$ 、 $C$ 相互独立

贝努里(Bernoulli)概型

只有两个可能结果的试验称为贝努里试验，也叫成功——失败试验，常记为 $E$ 。

若记 $A$ 为成功，则其概率通常用 $p=P(A)$ 表示。

把 $E$ 重复独立地进行 $n$ 次，所得的试验称为 n 重贝努里试验，记为 $E^n$ 。

把 $E$ 重复独立地进行可列多次，所得的试验称为可列重贝努里试验，记为 $E^\propto$。

以上三种贝努里试验统称为贝努里概型。

几种概率

  1. 二项分布： $E^n$ 中成功 $k$ 次的概率是 $P_n(k)=C_n^kp^k(1-p)^{n-k}(0\le k\le n)$
  2. 几何分布： $E^\propto$ 中首次成功发生在第 $k$ 次试验的概率是 $(1-p)^{k-1}p$
  3. 负二项分布： $E^\propto$ 中第 $r$ 次成功发生在第 $k$ 次试验的概率是 $C_{k-1}^{r-1}(1-p)^{k-r}p^r$