概率论与数理统计-随机事件与概率

基本概念

现象

现象

现象是事物表现出来的，能被人感觉到的一切情况。现象是人能够看到、听到、闻到、触摸到的。

按照是否有自然属性来分，现象可分为自然现象和社会现象。 按照现象的结果是否唯一来分，现象可分为确定性现象和随机现象。

概率统计研究的主要目标是随机现象，即现象的结果有多种可能，且事先无法准确预测将会发生哪种结果。

随机试验

对随机现象进行一次观察，称为一次随机试验（试验）

概率论中将满足下面三个条件的试验称为随机试验，简称试验：

1. 可在相同的条件下重复进行；
2. 每次试验的结果不止一个
3. 试验之前不能确定哪一个结果会发生，但所有的结果是明确可知的

样本点

随机试验中每一个可能发生的结果（现象观察到的结果），称为一个样本点。一般记作\(\omega\)

样本空间

随机试验中所有可能发生的结果，即所有的样本点，称为样本空间。一般记作\(\Omega= \{\omega\}\).

随机事件

样本空间的任意子集,都称为随机事件（事件）。

特殊事件(不可能事件与必然事件)

不可能事件：不含样本点的事件（不含任何元素），称为不可能事件。用集合的语言描述为空集\(\varnothing\)

必然事件：包含样本空间所有样本点的事件（包含所有可能的结果，因此该事件一定会发生），称为必然事件。用集合的语言描述为样本空间全集\(\Omega\)

事件的发生

若事件A中的某个样本点在随机试验中出现（某个样本点被观测到），称为事件A发生。 即事件A中某个样本点被观测到\(\Leftrightarrow\)事件A发生

事件的关系与运算

经常要用简单事件表示一些复杂事件（尤其是研究概率的过程中）。 因此需要讨论使事件的关系与运算。

这里的事件用集合来表示，所以实际上是集合的关系与运算。

包含关系\(A \subset B\)

定义:A发生导致B发生,称:B包含A,或称A被B包含.记\(A \subset B\).集合论：A的元素必属于B。图示：

（定义，称，记，集合论，图）

相等关系A=B

\(B \subset A, B \subset A\)，则A=B

互斥关系\(A B=\varnothing\)

在试验中，事件A与B不能同时发生，即\(A B=\varnothing\)，则称A，B互为互斥事件

设\(A_1, A_2, \cdots, A_n\)是一组事件， 若它们两两互斥(都是互斥事件)， 且它们的并等于样本空间（\(\cup_{i=1}^{n} A_i = \Omega\)）， 称这组事件构成一个互不相容的完备事件组（完备事件组）

对立关系

每次事件中，“事件A不发生”的事件称为事件A的对立事件或者逆事件。记为\(\bar{A}\)。

性质： \((1) A+A=\Omega\) \((2) A \bar{A}=\varnothing\)

由定义可知：对立事件一定是互斥事件，但互斥事件不一定是对立事件

事件的和

事件的和，也称事件的并，记作 \(A \cup B\)或\(A+B\)

性质： \((1) A \subset A \cup B, B \subset A \cup B\) \((2) A \cap(A \cup B)=A, \quad B \cap(A \cup B)=B\) \((3) A \cup A=A\)

事件的差

A-B表示事件A发生而事件B不发生

性质： \((1) A-B \subset A\) \((2)(A-B) \cup A=A, \quad(A-B) \cup B=A \cup B\) \((3)(A-B) \cap A=A-B,(A-B) \cap B=\varnothing\)

事件的积（交）AB

\(A \cap B\)或AB，表示事件A与B同时发生

性质： \((1) A \cap B \subseteq A, \quad A \cap B \subset B\) \((2)(A \cap B) \cup A=A, \quad(A \cap B) \cup B=B\) \((3) A \cap A=A\)

事件的运算律

与集合的运算律相似

交换律：\(A \cup B=B \cup A, A B=B A\)

结合律：\((A \cup B) \cup C=A \cup(B \cup C), \quad(A \cap B) \cap C=A \cap(B \cap C)\)

分配律：\((A \cup B) C=(A C) \cup(B C), \quad A \cup(B C)=(A \cup B)(A \cup C)\)

摩根律：

\(\overline{A_{1} \cup A_{2}}=\bar{A}_{1} \cap \bar{A}_{2}, \overline{A_{1} \cap A_{2}}=\bar{A}_{1} \cup \bar{A}_{2}\)

减法满足：\(A-B=A \bar{B}\)

增补性质：\(A= (AB) \cup (A\bar{B})\)

事件的概率

概率的定义

前面讨论了随机事件的概念与性质，自然地，人们关心随机事件发生的可能性。

频率\(\frac{n_A}{n}\)

在一定条件下试验进行n次，若事件A发生\(n_A\)次，则称事件A发生的频率为\(\frac{n_A}{n}\)

概率的定义（统计定义）

对于随机现象，当试验次数n增大时，事件A的频率总逐渐趋近于一个确定的常数（大数定理将给出更严格的解释），我们就用这个常数来反映事件A发生的可能性大小，并把这个常数称为事件A发生的概率，记为\(P(A)\)。

概率的这个通俗定义，即为概率的统计定义。

概率统计定义的作用：人们往往用n较大时事件A的频率\(\frac{n_A}{n}\)作为事件A发生的概率\(P(A)\)的近似。 概率统计定义的缺陷： 不能作为概率论严格的理论基础； 对于一些无法或很难大量重复的试验，无法适用； 统计定义中“确定的常数”不够明确。

概率的定义（公理化定义）

设随机试验E的样本空间为\(\Omega\)，则称满足下列条件的事件集的函数\(P(*)\)为概率：

1. 非负性：对于任意事件A，\(P(A) \geqslant 0\)；
2. 规范性：对于必然事件\(\Omega\)， \(P(\Omega)=1\)；
3. 可列可加性：设\(A_{1}, A_{2}, \cdots, A_{n} \cdots\)为两两互不相容的事件，即\(A_{i} A_{j}=\varnothing(i \neq j, i, j=1,2, \cdots)\)，则

\(P\left(\bigcup_{k=1}^{\infty} A_{k}\right)=\sum_{k=1}^{\infty} P\left(A_{k}\right)\)

即将满足以上三种属性的集函数，定义为随机事件的概率。

概率的性质

不可能事件的概率\(P(\varnothing)=0\)

必然事件的概率\(P(\Omega) = 1\)

对立事件的概率\(P(\bar{A})=1-P(A)\)

一般事件，概率的减法：

\(P(A-B)=P(A\bar{B}) = P(A)-P(A B)\)

包含事件，概率的减法：

若事件A，B满足\(A \subset B\)，则\(P(A-B)=P(A)-P(B)\) （且\(P(A) \le P(B)\)）

一般事件，概率的加法：

\(P(A \cup B)=P(A)+P(B)-P(A B)\); \(P(A \cup B \cup C)=P(A)+P(B)+P(C)-P(A B)-P(B C)-P(A C)+P(A B C)\); … \(P\left(\bigcup_{i=1}^{n} A_{i}\right)=\sum_{i=1}^{n} P\left(A_{i}\right)-\sum_{i \in i<j \leq n} P\left(A_{i} A_{j}\right)+\sum_{1 \leq i \leq j<k \leq n} P\left(A_{i} A_{j} A_{k}\right)+\cdots+(-1)^{m-1} P\left(A_{1} A_{2} \cdots A_{m}\right)\)

有限个两两互斥事件，概率的加法：

若事件\(A_1,A_2,\cdots,A_n\)两两互斥，则\(P\left(\bigcup_{i=1}^{n} A_{i}\right)=\sum_{i=1}^{n} P\left(A_{i}\right)\)

古典概率模型与几何概率模型

古典概率模型

古典概率模型是一种最简单的概率模型，是具有如下特征的概率模型： 1.试验的样本空间\(\Omega\)中只包含有限个样本点，\(\Omega=\{\omega_1,\omega_2,\cdots,\omega_N\}\) 2.每个样本点发生的可能性相同，即\(P(\omega_1)=P(\omega_2)=\cdots=P(\omega_N)=\frac{1}{N}\)

在古典概率模型中，设样本空间\(\Omega\)有N个样本点，事件\(A \subset \Omega\),且A中含有k个样本点，则显然有\(P(A) = \frac{k}{N}\)

抽样问题和抽奖问题

从一堆物品中，连续抽取k次，每次抽取的结果不放回去，这种抽取方式称为无放回抽样。 从一堆物品中，每次抽取一个，观察后放回，重复进行k次，这种抽取方式称为有放回抽样。

无放回抽样（抽奖）的公平性：彩票盒中n张彩票，k张有奖，n个人依次抽取一张（不放回），每个人中奖概率都是\(\frac{k}{n}\)

证明：

每个人依次抽取一张，有\(n!\)种取法；

考虑第j个人中奖的取法数： 在第j个位置安排一张中奖彩票，有k种取法， 剩下的\((n-1)\)张彩票在余下位置作全排列，有\((n-1)!\)种取法， 则第j人中奖的取法数有\(k(n-1)!\)种

则第j个人中奖的概率为\(P(A_j) = \frac{k(n-1)!}{n!}=\frac{k}{n}\)

盒子装球问题

将n个球随机放入N个盒子中(\(n\le N\))，盒子容量不限，则每个盒子中至多有一个球的概率\(P(A) = \frac{A_N^n}{N^n}\)。

证明

每个球都可以放入N个盒子中的任意一个盒子，共\(N^n\)种放法，且每种放法是等可能的。

每个盒子至多有一个球有\(A_N^n\)种放法。

则每个盒子中至多有一个球的概率为\(P(A) = \frac{A_N^n}{N^n}\)

实际应用：n个人生日各不相同的概率（对应于n个球放入N=365个盒子中，要求每个盒子至多装一个球的问题）

几何概率模型

几何概率模型是具有如下两个特征的概率模型： 1.随即现象的样本空间\(\Omega\)是直线（平面、三维空间）的某部分区域，其长度（面积、体积）用\(S_\Omega\)表示 2.\(\Omega\)的任何子集A的概率与A的长度（面积、体积）\(S_A\)成正比，而与A的位置、形状无关

不难得到\(P(A) = \frac{S_A}{S_\Omega}\)

约会问题

约会问题是几何概率模型的一个例子

条件概率

条件概率的定义

设A，B是两个事件，且\(P(A)>0\)，称\(P(B | A)=\frac{P(A B)}{P(A)}\)为在事件A发生的条件下事件B发生的概率

概率的乘法

由条件概率的定义，可知： \(P(AB) = P(A)\cdot P(B|A)\)

全概率公式

定义：设样本空间为\(\Omega\),事件\(A_1,A_2,\cdots,A_n\)构成一个完备事件组，且\(P(A_i) > 0 (i = 1,2,\cdots,n)\). 则对任意事件\(B \subset \Omega\)，有\(P(B)=\sum_{i=1}^n P(A_i) P(B|A_i)\)

证明： 事件\(A_1,A_2,\cdots,A_n\)构成一个完备事件组，则\(B=\bigcup_{i=1}^n A_i B\) 由\(A_1 B, A_2 B, \cdots , A_n B\)两两互斥，根据概率的加法与乘法， \(P(B)=P\left(\bigcup_{i=1}^{n} A_{i} B\right)=\sum_{i=1}^n P(A_i) P(B|A_i)\)

很多场合下，直接计算某事件B的概率不容易，而在各个不同条件下\(A_1,A_2,\cdots,A_n\)下，B发生的概率\(P(A_i) P(B|A_i)\)容易知道，那么全概率公式求\(P(B)\)是很好的方法。

贝叶斯公式

与全概率公式相反，贝叶斯公式常用于根据观察到的结果来推断各种原因（或途径）发生的可能性的大小。即用来求某事件B发生的条件下，\(A_i\)发生的概率\(P(A_i|B)\).

定义：：设样本空间为\(\Omega\),事件\(A_1,A_2,\cdots,A_n\)构成一个完备事件组，B为一事件，且\(P(B)>0,P(A_i) > 0 (i = 1,2,\cdots,n)\). 则有\(P(A_i|B)=\frac{P(A_i) P(B|A_i)}{\sum_{j=1}^n P(A_j) P(B|A_j)}\)，其中\(i=1,2,\cdots,n\)

实际上，可以从概率的乘法公式以及全概率公式出发，来以及贝叶斯公式： \(P(A_i B) \\= P(A_i) P(B|A_i) \\= P(B) P(A_i|B) = \sum_{j=1}^n P(A_j) P(B|A_j) \cdot P(A_i |B)\)

事件的独立性

前面讨论了条件概率\(P(B|A)\)，一般来说\(P(B|A) \neq P(B)\). 但很多时候，确实有\(P(B|A) = P(B)\)，即A的发生并不影响B发生的概率（也叫B对A是独立的）。 而若\(P(B|A) = P(B)\)的时候，由条件概率乘法公式\(P(AB) = P(A)P(B|A) = P(B)P(A|B)\)可知，有\(成立P(A|B) = P(A)\)，即B的发生并不影响A发生的概率（也叫A对B也是独立的）

两事件相互独立的定义

定义：设A，B是两个事件，若有等式\(P(A B)=P(A) P(B)\)，则称A与B互相独立。

两事件相互独立的性质

若事件A与B独立，则A与\(\bar{B}\)也独立

证明：

A与B独立，即有\(P(A B)=P(A) P(B)\)

\(\begin{aligned} P(A \bar{B}) &=P(A-A B) \\ &=P(A)-P(A B) \\ &=P(A)-P(A) P(B) \\ &=P(A)(1-P(B)) \\ &=P(A) P(\bar{B}) \end{aligned}\)

显然,若四对事件A与B，A与\(\bar{B}\)，\(\bar{A}\)与B，\(\bar{A}\)与\(\bar{B}\)中有一对独立，则其他三对也对立。

多事件两两独立

一般的，设\(A_{1}, A_{2}, \cdots, A_{n}\)是n个事件，如果对于任意\(k\left(k_{k} \leqslant n\right)\)和任意\(1 \leqslant i_{1}<i_{2}<\cdots<i_{k} \leqslant n\)，具有等式\(P\left(A_{i_{1}} A_{i_{2}} \cdots A_{i_{k}}\right)=P\left(A_{i_{1}}\right) P\left(A_{i_{2}}\right) \cdots P\left(A_{i_{k}}\right)\)，则称\(A_{1}, A_{2}, \cdots, A_{n}\)为两两独立的事件

多事件相互独立

设\(A_1,A_2,A_3\)是3个事件，若同时满足下面4个等式：

\(\begin{aligned} P\left(A_{1} A_{2}\right) &=P\left(A_{1}\right) P\left(A_{2}\right) \\ P\left(A_{2} A_{3}\right) &=P\left(A_{2}\right) P\left(A_{3}\right) \\ P\left(A_{1} A_{3}\right) &=P\left(A_{1}\right) P\left(A_{3}\right) \\ P\left(A_{1} A_{2} A_{3}\right) &=P\left(A_{1}\right) P\left(A_{2}\right) P\left(A_{3}\right) \end{aligned}\)

则称\(A_1,A_2,A_3\)三个事件相互独立。

注意：前三个等式表示3个事件两两独立，说明三个事件相互独立比两两独立要强。

对于n个事件\(A_1,A_2,\cdots,A_n\)，若其中\(k(2\le k \le n)\)个事件乘积的概率等于这k个事件概率的乘积，称\(A_1,A_2,\cdots,A_n\)相互独立。

n个相互独立事件的并

设n个事件\(A_1,A_2,\cdots,A_n\)相互独立，则 \(\begin{aligned} P\left(\bigcup_{i=1}^{n} A_{i}\right) &=1-P\left(\overline{\bigcup_{i=1}^{n} A_{i}}\right) \\ &=1-P\left(\bigcap_{i=1}^{n} \overline{A_{i}}\right) \\ &=1-\prod_{i=1}^{n} P\left(\overline{A_{i}}\right) \\ &=1-\prod_{i=1}^{n}\left[1-P\left(A_{i}\right)\right] \end{aligned}\)

n个相互对立事件，分成两组，分别作集合运算，运算结果保持独立

设n个事件\(A_1,A_2,\cdots,A_n\)相互独立， 现将它们分成两组， 比如\(A_1,A_2,\cdots,A_k\)为一组，并对\(A_1,A_2,\cdots,A_k\)作任意的集合运算，将所得新事件记为B； \(A_{k+1},A_{k+2},\cdots,A_n\)为另一组，并对\(A_{k+1},A_{k+2},\cdots,A_n\)作任意的集合运算，将所得新事件记为C； 则B与C独立。

独立试验序列

把某试验独立重复的进行n次。 在每次试验中，只关心事件A发生与否，并设每次试验中A发生的概率均为\(p(0<p<1)\)，而且每次的试验结果相互独立。 这样的n次重复试验称为n重独立试验序列，也称n重伯努利试验。

n重伯努利试验中，我们关心的事件A可能发生的次数为\(0,1,\cdots,n\)，并且A恰好发生\(k(k=0,1,\cdots,n)\)次的概率为\(P_{n}(k)=\mathrm{C}_{n}^{k} p^{k}(1-p)^{n-k}\)

容易验证：\(\sum_{k=0}^{n} \mathrm{C}_{n}^{k} p^{k}(1-p)^{n-k}=[p+(1-p)]^{n}=1\)