概率论与数理统计

概率(Probability):描述事件发生的可能性的一个数值

概率和统计其实是互逆的,概率论是对数据产生的过程进行建模,然后研究某种模型所产生的数据有什么特性。而统计学正好相反,它需要通过已知的数据,来推导产生这些数据的模型是怎样的

随机事件

样本空间和随机事件

事件关系和运算

运算律

批注 2020-06-05 115302

事件的概率

事件A发生的可能性大小为P(A) 称为A的概率

A出现的频率 = (A出现的次数/实验总次数)

古典概型

P(A) = (A出现的次数/实验总次数)

几何概型

允许实验结果为无限个

公理化定义

性质:

条件概率与事件的独立性

条件概率

已知事件B发生的条件下,事件A发生的可能性的客观度量称为条件概率,记为P(A|B)。也就是某个事件受其他事件影响之后出现的概率

P(A|B) = P(AB) / P(B)

P (AB) = P(A)P(B|A) P (AB) = P(B)P(A|B)

全概率公式

用于多个原因导致一个结果发生

有互不相容事件B1 B2 B3 BN B1...BN 概率和为1 A为Ω中的一个事件 则 A = P(AB1) + P(AB2)...

贝叶斯公式

结果为x的事件,求y导致其发生的概率

P(x|y) = P(y|x)XP(x)/P(y)

贝叶斯原理

贝叶斯原理就是求解后验概率

朴素贝叶斯

基于一个简单假设建立的一种贝叶斯方法,并假定数据对象的不同属性对其归类影响时是相互独立的

结果为x的事件,求y,z导致其发生的概率

P(x|y,z) = P(x|y) X P(x|z)

在 A1、A2、A3 离散属性下,$C_j$ 的概率:

$$ P(C_j|A_1A_2A_3) = \frac{P(A_1A_2A_3|C_j)P(C_j)}{P(A_1A_2A_3)} $$

如果要处理连续值,则通过样本计算出均值和方差,也就是得到正态分布的密度函数转成离散值

在机器学习中,通过事先对对象提取各个特征,计算可能性,再对未知对象时,通过各个特征的分值,就可以计算对象属于什么类的概率

VS其他算法:

朴素贝叶斯模型中的连续乘积会导致过小的值,甚至计算机都无法处理。为了避免这种情况,我们可以使用 log 的数学变换,将小数转换为绝对值大于 1 的负数

文本分类:

准备好各个词属于哪个分类的概率 -> 文本分词 -> 使用朴素贝叶斯计算分出的词属于哪个分类可能性最大

事件的独立性

若P(A|B) = P(A) 或 P(B|A)=P(B) 或 P(AB)=P(A)P(B)

则事件A与B互相独立

马尔可夫假设

链式法则:P(x1,x2,x3,...,xn) = P(x1) X P (x2 | x1) X P(x3 | x1, x2) X P(xn | x1,x2,...,xn-1)

二元文法模型:某个单词出现的概率只和它前面的 1 个单词有关

P(wn | w1,w2,...,wn-1) ≈ P(wn | wn-1)

语言模型可以用来:

  1. 信息检索:给定一个查询,哪篇文档是更相关的
  2. 分词:可以估算出基于词典分割的方式,哪种分割最为合理

马尔可夫模型

状态到状态之间是有关联的。前一个状态有一定的概率可以转移到到下一个状态。如果多个状态之间的随机转移满足马尔科夫假设,那么这类随机过程就是一个马尔科夫随机过程,刻画这类随机过程的统计模型,就是马尔科夫模型

隐含马尔可夫模型:像在语音识别中,同样的发音可以被识别为不同的文字,那么使用隐含模型,就可以在所有可能的识别结果中,选择可能性最高的一个

信息熵

刻画给定集合的纯净度大小的一个指标,纯净度的大小与元素种类多样性成反比

信息增益:对元素种类划分后,系统整体熵的下降

一种决策树算法就是每次计算问题的信息熵,挑选信息增益最高的问题,也就是区分度最高的问题

特征选择

如果一个特征,经常只在某个或少数几个分类中出现,而很少在其他分类中出现,那么说明这个特征具有较强的区分力,这个时候,对于一个特征,我们可以看看包含这个特征的数据,是不是只属于少数几个类,就可以使用信息熵来计算区分度:

$$ -\sum_{j=1}^nP{\left(c_j\mid Df_i\right)}\times\log_2P{\left(c_j\mid Df_i\right)} $$

另外一种方式是卡方检验来检验两个变量是否相互独立:

如果两者独立,证明特征和分类没有明显的相关性,特征对于分类来说没有提供足够的信息量。反之,如果两者有较强的相关性,那么特征对于分类来说就是有信息量的,是个好的特征。

特征变化

x' = (x - min) / (max - min)

x' = (x - 均值) / 标准差

随机变量及其分布

随机变量:对于Ω上的每一样本点w,都有一个实数与之对应,则称X(w)的X为随机变量,用来描述事件所有可能出现的状态

分布函数F(x)=P(X<=x>)

概率分布描述的其实就是随机变量的概率规律

离散型随机变量

有一类随机变量可能的取值是有限个或可列无穷个,称之为离散型随机变量

各个可能的取值组合起来称之为随机变量X的分布律

连续型随机变量

一些随机变量的可能取值可充满一个区间,称之为连续型随机变量

常用连续型分布

期望值

也叫数学期望,是每次随机结果的出现概率乘以其结果的总和

二维随机变量及其分布

对于Ω上的每一样本点w,有两个实数XY与之对应,则(X,Y)为二维随机变量

二维离散型随机变量

二维连续型随机变量

统计意义

显著性差异:研究多组数据之间的差异是由于不同的数据分布导致的呢,还是由于采样的误差导致的

P 值:当 H0 假设为真时,样本出现的概率

方差分析,也叫 F 检验。这种方法可以检验两组或者多组样本的均值是否具备显著性差异

过拟合与欠拟合

2022118202517