1.随机变量

• 随机事件的数量表现；随机变量可以是离散的或者连续的。
• 离散随机变量是指拥有有限个或者可列无限多个状态的随机变量。
• 连续随机变量是指变量值不可随机列举出来的随机变量，一般取实数值。
• 随机变量通常用概率分布来指定它的每个状态的可能性。

2.常见概率分布

• 伯努利分布
  • 伯努利试验：只可能有两种结果的单次随机试验。又称0-1分布，单个二值型离散随机变量的分布。
  • $P(X=1)=p, P(X=0)=1-p$
• 二项分布
  • 即重复n次伯努利试验，各试验之间都相互独立。
  • 如果每次试验时，事件发生的概率为p，不发生的概率为1-p，则n次重复独立试验中事件发生k次的概率为$P(X=k)=C_{n}^{k}p^{k}(1-p)^{n-k}$
• 均匀分布
  • 又称矩形分布，在给定长度间隔[a, b]内的分布概率是等可能的，均匀分布由参数a, b定义，概率密度为
    $p(x)=\left\{\begin{matrix} \frac{1}{b-a} & if a\leqslant x \leqslant b\\ 0 & else \end{matrix}\right.$
  • 累积概率分布函数
    $p(X\leq x)=\int_{-\infty }^{x}p(x)dx=\begin{cases} 0 & \text{ for } x<a \\ \frac{x-a}{b-a} & \text{ for } a\leq x \leq b\\ 1 & \text{ for } x \geq b \end{cases}$
• 高斯分布
  • 又称正态分布，是实数中最常用的分布。
  • 由均值$\mu$和标准差$\sigma$决定其分布，概率密度函数为
    $p(x)=\frac{1}{\sqrt{2 \pi}\sigma}e^{- \frac {(x- \mu)^{2}}{2 \sigma^{2}}}$
  • $\sigma$越大图像越高耸
• 指数分布
  • 常用来表示独立随机事件发生的时间间隔。
  • 参数为$\lambda$的指数分布概率密度
    $p(x)=\begin{cases} \lambda e^{-\lambda x} & x\geq 0 \\ 0 & x<0 \end{cases}$
  • *累积概率分布函数
    $P(X\leq x)=\int_{-\infty}^{x}p(x)dx= \begin{cases} 1-e^{-\lambda x}& x\geq0 \\ 0 & x<0 \end{cases}$
  • 指数分布的重要特征是无记忆性。

3.其他相关知识

• 条件概率
  • 事件X在事件Y发生的条件下发生的概率。$P(X|Y)$
• 联合概率
  • 表示两个事件X和Y共同发生的概率。$P(X,Y)$
  • 条件概率和联合概率的性质
    $P(Y|X)=\frac {P(Y,X)} {P(X)},P(X)>0$
• 先验概率
  • 根据以往经验和分析得到的概率，在事件发生前已知，它往往作为“由因求果”问题中的“因”出现
• 后验概率
  • 指得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因”。
• 全概率公式
  • $P(B)=\sum_{i=1}^{n}P(A_{i})P(B|A_{i})$
• 贝叶斯公式
  • $P(A_{i}|B)=\frac {P(B|A_{i})P(A_{i})} {P(B)}$
• 熵
  • 信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量
  • 假定当前样本集合X中第i类样本所占的比列为$p_{i}$，则X的信息熵定义为
    $H(X)=-\sum_{i=1}^{n}P(x_{i})log_{2}P(x_{i})$
  • 联合熵：
    $H(X,Y)=-\sum_{i=1}^{n}\sum_{j=1}^{n}P(x_{i},y_{i})log_{2}P(x_{i},y_{i})$
  • 条件熵：
    $H(X|Y)=-\sum_{i=1}^{n}\sum_{j=1}^{n}P(x_{i},y_{i})log_{2}P(x_{i}|y_{i})$
    H(X|Y)=H(X,Y)-H(X)
    互信息：$I(X;Y)=H(X)+H(Y)-H(X,Y)$
  • 相对熵
    • 又称互熵、交叉熵、KL散度、信息增益
    • 描述两个概率分布P和Q差异的一种方法，记做D(P||Q)
    • 在信息论中D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布。即使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数
    • 离散形式:$D(P||Q)=\sum P(x)log\frac {P(x)} {Q(x)}$
    • 连续形式:$D(P||Q)=\int P(x)log\frac {P(x)} {Q(x)}$
• 常用统计量
  • 期望：试验中每次可能结果的概率乘以其结果的总和，反映随机变量平均值的大小。
    • 离散随机变量：$E(X)=\sum _{k=1}^{n}x_{k}P(x_{k})$
    • 连续随机变量：$\int_{-\infty}^{+\infty}xp(x)dx$
  • 方差：用来衡量随机变量和数学期望之间的偏离程度；$Var(X)=E{[x-E(x)]^{2}}=E(x^{2})-[E(x)]^{2}$
  • 协方差：衡量两个随机变量X和Y直接的总体误差，计算过程为：
    Cov(X,Y)=E{[x-E(x)][y-E(y)]}=E(xy)-E(x)E(y)