概率论与数理统计-概率论-随机事件与概率

November 25, 2020

概率论与数理统计-随机事件与概率

基本概念

现象

现象是事物表现出来的，能被人感觉到的一切情况。现象是人能够看到、听到、闻到、触摸到的。

按照是否有自然属性来分，现象可分为自然现象和社会现象。按照现象的结果是否唯一来分，现象可分为确定性现象和随机现象。

概率统计研究的主要目标是随机现象，即现象的结果有多种可能，且事先无法准确预测将会发生哪种结果。

随机试验

对随机现象进行一次观察，称为一次随机试验（试验）

概率论中将满足下面三个条件的试验称为随机试验，简称试验：
可在相同的条件下重复进行；
每次试验的结果不止一个
试验之前不能确定哪一个结果会发生，但所有的结果是明确可知的

样本点

随机试验中每一个可能发生的结果（现象观察到的结果），称为一个样本点。一般记作 $ω$

样本空间

随机试验中所有可能发生的结果，即所有的样本点，称为样本空间。一般记作 $Ω = {ω}$ .

随机事件

样本空间的任意子集,都称为随机事件（事件）。

特殊事件(不可能事件与必然事件)

不可能事件：不含样本点的事件（不含任何元素），称为不可能事件。用集合的语言描述为空集 $\emptyset$

必然事件：包含样本空间所有样本点的事件（包含所有可能的结果，因此该事件一定会发生），称为必然事件。用集合的语言描述为样本空间全集 $Ω$

事件的发生

若事件A中的某个样本点在随机试验中出现（某个样本点被观测到），称为事件A发生。即事件A中某个样本点被观测到 $\Leftrightarrow$ 事件A发生

事件的关系与运算

经常要用简单事件表示一些复杂事件（尤其是研究概率的过程中）。因此需要讨论使事件的关系与运算。

这里的事件用集合来表示，所以实际上是集合的关系与运算。

包含关系 $A \subset B$

定义:A发生导致B发生,称:B包含A,或称A被B包含.记 $A \subset B$ .集合论：A的元素必属于B。图示：

（定义，称，记，集合论，图）

相等关系A=B

$B \subset A, B \subset A$ ，则A=B

互斥关系 $A B = \emptyset$

在试验中，事件A与B不能同时发生，即 $A B = \emptyset$ ，则称A，B互为互斥事件

设 $A_{1}, A_{2}, \dots, A_{n}$ 是一组事件，若它们两两互斥(都是互斥事件)，且它们的并等于样本空间（ $\cup_{i = 1}^{n} A_{i} = Ω$ ），称这组事件构成一个互不相容的完备事件组（完备事件组）

对立关系

每次事件中，“事件A不发生”的事件称为事件A的对立事件或者逆事件。记为 $\bar{A}$ 。

性质： $(1) A + A = Ω$ $(2) A \bar{A} = \emptyset$

由定义可知：对立事件一定是互斥事件，但互斥事件不一定是对立事件

事件的和

事件的和，也称事件的并，记作 $A \cup B$ 或 $A + B$

性质： $(1) A \subset A \cup B, B \subset A \cup B$ $(2) A \cap (A \cup B) = A, B \cap (A \cup B) = B$ $(3) A \cup A = A$

事件的差

A-B表示事件A发生而事件B不发生

性质： $(1) A - B \subset A$ $(2) (A - B) \cup A = A, (A - B) \cup B = A \cup B$ $(3) (A - B) \cap A = A - B, (A - B) \cap B = \emptyset$

事件的积（交）AB

$A \cap B$ 或AB，表示事件A与B同时发生

性质： $(1) A \cap B \subseteq A, A \cap B \subset B$ $(2) (A \cap B) \cup A = A, (A \cap B) \cup B = B$ $(3) A \cap A = A$

事件的运算律

与集合的运算律相似

交换律： $A \cup B = B \cup A, A B = B A$

结合律： $(A \cup B) \cup C = A \cup (B \cup C), (A \cap B) \cap C = A \cap (B \cap C)$

分配律： $(A \cup B) C = (A C) \cup (B C), A \cup (B C) = (A \cup B) (A \cup C)$

摩根律：

$\overset{―}{A_{1} \cup A_{2}} = {\bar{A}}_{1} \cap {\bar{A}}_{2}, \overset{―}{A_{1} \cap A_{2}} = {\bar{A}}_{1} \cup {\bar{A}}_{2}$

减法满足： $A - B = A \bar{B}$

增补性质： $A = (A B) \cup (A \bar{B})$

事件的概率

概率的定义

前面讨论了随机事件的概念与性质，自然地，人们关心随机事件发生的可能性。

频率 $\frac{n_{A}}{n}$

在一定条件下试验进行n次，若事件A发生 $n_{A}$ 次，则称事件A发生的频率为 $\frac{n_{A}}{n}$

概率的定义（统计定义）

对于随机现象，当试验次数n增大时，事件A的频率总逐渐趋近于一个确定的常数（大数定理将给出更严格的解释），我们就用这个常数来反映事件A发生的可能性大小，并把这个常数称为事件A发生的概率，记为 $P (A)$ 。

概率的这个通俗定义，即为概率的统计定义。

概率统计定义的作用：人们往往用n较大时事件A的频率 $\frac{n_{A}}{n}$ 作为事件A发生的概率 $P (A)$ 的近似。概率统计定义的缺陷：不能作为概率论严格的理论基础；对于一些无法或很难大量重复的试验，无法适用；统计定义中“确定的常数”不够明确。

概率的定义（公理化定义）

设随机试验E的样本空间为 $Ω$ ，则称满足下列条件的事件集的函数 $P (*)$ 为概率：

非负性：对于任意事件A， $P (A) ⩾ 0$ ；
规范性：对于必然事件 $Ω$ ， $P (Ω) = 1$ ；
可列可加性：设 $A_{1}, A_{2}, \dots, A_{n} \dots$ 为两两互不相容的事件，即 $A_{i} A_{j} = \emptyset (i \neq j, i, j = 1, 2, \dots)$ ，则

$P (⋃_{k = 1}^{\infty} A_{k}) = \sum_{k = 1}^{\infty} P (A_{k})$

即将满足以上三种属性的集函数，定义为随机事件的概率。

概率的性质

不可能事件的概率 $P (\emptyset) = 0$

必然事件的概率 $P (Ω) = 1$

对立事件的概率 $P (\bar{A}) = 1 - P (A)$

一般事件，概率的减法：

$P (A - B) = P (A \bar{B}) = P (A) - P (A B)$

包含事件，概率的减法：

若事件A，B满足 $A \subset B$ ，则 $P (A - B) = P (A) - P (B)$ （且 $P (A) \leq P (B)$ ）

一般事件，概率的加法：

$P (A \cup B) = P (A) + P (B) - P (A B)$ ; $P (A \cup B \cup C) = P (A) + P (B) + P (C) - P (A B) - P (B C) - P (A C) + P (A B C)$ ; … $P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i}) - \sum_{i \in i < j \leq n} P (A_{i} A_{j}) + \sum_{1 \leq i \leq j < k \leq n} P (A_{i} A_{j} A_{k}) + \dots + (- 1)^{m - 1} P (A_{1} A_{2} \dots A_{m})$

有限个两两互斥事件，概率的加法：

若事件 $A_{1}, A_{2}, \dots, A_{n}$ 两两互斥，则 $P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i})$

古典概率模型与几何概率模型

古典概率模型

古典概率模型是一种最简单的概率模型，是具有如下特征的概率模型： 1.试验的样本空间 $Ω$ 中只包含有限个样本点， $Ω = {ω_{1}, ω_{2}, \dots, ω_{N}}$ 2.每个样本点发生的可能性相同，即 $P (ω_{1}) = P (ω_{2}) = \dots = P (ω_{N}) = \frac{1}{N}$

在古典概率模型中，设样本空间 $Ω$ 有N个样本点，事件 $A \subset Ω$ ,且A中含有k个样本点，则显然有 $P (A) = \frac{k}{N}$

抽样问题和抽奖问题

从一堆物品中，连续抽取k次，每次抽取的结果不放回去，这种抽取方式称为无放回抽样。从一堆物品中，每次抽取一个，观察后放回，重复进行k次，这种抽取方式称为有放回抽样。

无放回抽样（抽奖）的公平性：彩票盒中n张彩票，k张有奖，n个人依次抽取一张（不放回），每个人中奖概率都是 $\frac{k}{n}$

证明：
每个人依次抽取一张，有 $n!$ 种取法；
考虑第j个人中奖的取法数：在第j个位置安排一张中奖彩票，有k种取法，剩下的 $(n - 1)$ 张彩票在余下位置作全排列，有 $(n - 1)!$ 种取法，则第j人中奖的取法数有 $k (n - 1)!$ 种
则第j个人中奖的概率为 $P (A_{j}) = \frac{k (n - 1)!}{n!} = \frac{k}{n}$

盒子装球问题

将n个球随机放入N个盒子中( $n \leq N$ )，盒子容量不限，则每个盒子中至多有一个球的概率 $P (A) = \frac{A_{N}^{n}}{N^{n}}$ 。

证明
每个球都可以放入N个盒子中的任意一个盒子，共 $N^{n}$ 种放法，且每种放法是等可能的。
每个盒子至多有一个球有 $A_{N}^{n}$ 种放法。
则每个盒子中至多有一个球的概率为 $P (A) = \frac{A_{N}^{n}}{N^{n}}$

实际应用：n个人生日各不相同的概率（对应于n个球放入N=365个盒子中，要求每个盒子至多装一个球的问题）

几何概率模型

几何概率模型是具有如下两个特征的概率模型： 1.随即现象的样本空间 $Ω$ 是直线（平面、三维空间）的某部分区域，其长度（面积、体积）用 $S_{Ω}$ 表示 2. $Ω$ 的任何子集A的概率与A的长度（面积、体积） $S_{A}$ 成正比，而与A的位置、形状无关

不难得到 $P (A) = \frac{S_{A}}{S_{Ω}}$

约会问题

约会问题是几何概率模型的一个例子

条件概率

条件概率的定义

设A，B是两个事件，且 $P (A) > 0$ ，称 $P (B | A) = \frac{P (A B)}{P (A)}$ 为在事件A发生的条件下事件B发生的概率

概率的乘法

由条件概率的定义，可知： $P (A B) = P (A) \cdot P (B | A)$

全概率公式

定义：设样本空间为 $Ω$ ,事件 $A_{1}, A_{2}, \dots, A_{n}$ 构成一个完备事件组，且 $P (A_{i}) > 0 (i = 1, 2, \dots, n)$ . 则对任意事件 $B \subset Ω$ ，有 $P (B) = \sum_{i = 1}^{n} P (A_{i}) P (B | A_{i})$

证明：事件 $A_{1}, A_{2}, \dots, A_{n}$ 构成一个完备事件组，则 $B = ⋃_{i = 1}^{n} A_{i} B$ 由 $A_{1} B, A_{2} B, \dots, A_{n} B$ 两两互斥，根据概率的加法与乘法， $P (B) = P (⋃_{i = 1}^{n} A_{i} B) = \sum_{i = 1}^{n} P (A_{i}) P (B | A_{i})$

很多场合下，直接计算某事件B的概率不容易，而在各个不同条件下 $A_{1}, A_{2}, \dots, A_{n}$ 下，B发生的概率 $P (A_{i}) P (B | A_{i})$ 容易知道，那么全概率公式求 $P (B)$ 是很好的方法。

贝叶斯公式

与全概率公式相反，贝叶斯公式常用于根据观察到的结果来推断各种原因（或途径）发生的可能性的大小。即用来求某事件B发生的条件下， $A_{i}$ 发生的概率 $P (A_{i} | B)$ .

定义：：设样本空间为 $Ω$ ,事件 $A_{1}, A_{2}, \dots, A_{n}$ 构成一个完备事件组，B为一事件，且 $P (B) > 0, P (A_{i}) > 0 (i = 1, 2, \dots, n)$ . 则有 $P (A_{i} | B) = \frac{P (A_{i}) P (B | A_{i})}{\sum_{j = 1}^{n} P (A_{j}) P (B | A_{j})}$ ，其中 $i = 1, 2, \dots, n$

实际上，可以从概率的乘法公式以及全概率公式出发，来以及贝叶斯公式： $P (A_{i} B) = P (A_{i}) P (B | A_{i}) = P (B) P (A_{i} | B) = \sum_{j = 1}^{n} P (A_{j}) P (B | A_{j}) \cdot P (A_{i} | B)$

事件的独立性

两事件相互独立的定义

定义：设A，B是两个事件，若有等式 $P (A B) = P (A) P (B)$ ，则称A与B互相独立。

两事件相互独立的性质

若事件A与B独立，则A与 $\bar{B}$ 也独立

证明：
A与B独立，即有 $P (A B) = P (A) P (B)$
$\begin{aligned} P (A \bar{B}) & = P (A - A B) \\ = P (A) - P (A B) \\ = P (A) - P (A) P (B) \\ = P (A) (1 - P (B)) \\ = P (A) P (\bar{B}) \end{aligned}$

显然,若四对事件A与B，A与 $\bar{B}$ ， $\bar{A}$ 与B， $\bar{A}$ 与 $\bar{B}$ 中有一对独立，则其他三对也对立。

多事件两两独立

一般的，设 $A_{1}, A_{2}, \dots, A_{n}$ 是n个事件，如果对于任意 $k (k_{k} ⩽ n)$ 和任意 $1 ⩽ i_{1} < i_{2} < \dots < i_{k} ⩽ n$ ，具有等式 $P (A_{i_{1}} A_{i_{2}} \dots A_{i_{k}}) = P (A_{i_{1}}) P (A_{i_{2}}) \dots P (A_{i_{k}})$ ，则称 $A_{1}, A_{2}, \dots, A_{n}$ 为两两独立的事件

多事件相互独立

设 $A_{1}, A_{2}, A_{3}$ 是3个事件，若同时满足下面4个等式：

$\begin{aligned} P (A_{1} A_{2}) & = P (A_{1}) P (A_{2}) \\ P (A_{2} A_{3}) & = P (A_{2}) P (A_{3}) \\ P (A_{1} A_{3}) & = P (A_{1}) P (A_{3}) \\ P (A_{1} A_{2} A_{3}) & = P (A_{1}) P (A_{2}) P (A_{3}) \end{aligned}$

则称 $A_{1}, A_{2}, A_{3}$ 三个事件相互独立。

注意：前三个等式表示3个事件两两独立，说明三个事件相互独立比两两独立要强。

对于n个事件 $A_{1}, A_{2}, \dots, A_{n}$ ，若其中 $k (2 \leq k \leq n)$ 个事件乘积的概率等于这k个事件概率的乘积，称 $A_{1}, A_{2}, \dots, A_{n}$ 相互独立。

n个相互独立事件的并

设n个事件 $A_{1}, A_{2}, \dots, A_{n}$ 相互独立，则 $\begin{aligned} P (⋃_{i = 1}^{n} A_{i}) & = 1 - P (\overset{―}{⋃_{i = 1}^{n} A_{i}}) \\ = 1 - P (⋂_{i = 1}^{n} \overset{―}{A_{i}}) \\ = 1 - \prod_{i = 1}^{n} P (\overset{―}{A_{i}}) \\ = 1 - \prod_{i = 1}^{n} [1 - P (A_{i})] \end{aligned}$

n个相互对立事件，分成两组，分别作集合运算，运算结果保持独立

设n个事件 $A_{1}, A_{2}, \dots, A_{n}$ 相互独立，现将它们分成两组，比如 $A_{1}, A_{2}, \dots, A_{k}$ 为一组，并对 $A_{1}, A_{2}, \dots, A_{k}$ 作任意的集合运算，将所得新事件记为B； $A_{k + 1}, A_{k + 2}, \dots, A_{n}$ 为另一组，并对 $A_{k + 1}, A_{k + 2}, \dots, A_{n}$ 作任意的集合运算，将所得新事件记为C；则B与C独立。

独立试验序列

把某试验独立重复的进行n次。在每次试验中，只关心事件A发生与否，并设每次试验中A发生的概率均为 $p (0 < p < 1)$ ，而且每次的试验结果相互独立。这样的n次重复试验称为n重独立试验序列，也称n重伯努利试验。

n重伯努利试验中，我们关心的事件A可能发生的次数为 $0, 1, \dots, n$ ，并且A恰好发生 $k (k = 0, 1, \dots, n)$ 次的概率为 $P_{n} (k) = C_{n}^{k} p^{k} (1 - p)^{n - k}$

容易验证： $\sum_{k = 0}^{n} C_{n}^{k} p^{k} (1 - p)^{n - k} = [p + (1 - p)]^{n} = 1$