概率论是用于表示不确定性陈述的数学框架，即它是对事物不确定性的度量。

在人工智能领域，我们主要以两种方式来使用概率论。首先，概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统的行为。

计算机科学的许多分支处理的对象都是完全确定的实体，但机器学习却大量使用概率论。实际上如果你了解机器学习的工作原理你就会觉得这个很正常。因为机器学习大部分时候处理的都是不确定量或随机量。

随机变量可以随机地取不同值的变量。我们通常用小写字母来表示随机变量本身，而用带数字下标的小写字母来表示随机变量能够取到的值。例如， 和 都是随机变量X可能的取值。

对于向量值变量，我们会将随机变量写成X，它的一个值为。就其本身而言，一个随机变量只是对可能的状态的描述；它必须伴随着一个概率分布来指定每个状态的可能性。

随机变量可以是离散的或者连续的。

给定某随机变量的取值范围，概率分布就是导致该随机事件出现的可能性。

从机器学习的角度来看，概率分布就是符合随机变量取值范围的某个对象属于某个类别或服从某种趋势的可能性。

很多情况下，我们感兴趣的是某个事件在给定其它事件发生时出现的概率，这种概率叫条件概率。

我们将给定时发生的概率记为，这个概率可以通过下面的公式来计算：

先看看什么是“先验概率”和“后验概率”，以一个例子来说明：

假设某种病在人群中的发病率是0.001，即1000人中大概会有1个人得病，则有： P(患病) = 0.1%；即：在没有做检验之前，我们预计的患病率为P(患病)=0.1%，这个就叫作"先验概率"。 

再假设现在有一种该病的检测方法，其检测的准确率为95%；即：如果真的得了这种病，该检测法有95%的概率会检测出阳性，但也有5%的概率检测出阴性；或者反过来说，但如果没有得病，采用该方法有95%的概率检测出阴性，但也有5%的概率检测为阳性。用概率条件概率表示即为：P(显示阳性|患病)=95%

现在我们想知道的是：在做完检测显示为阳性后，某人的患病率P(患病|显示阳性)，这个其实就称为"后验概率"。

而这个叫贝叶斯的人其实就是为我们提供了一种可以利用先验概率计算后验概率的方法，我们将其称为“贝叶斯公式”，如下：

贝叶斯公式贯穿了机器学习中随机问题分析的全过程。从文本分类到概率图模型，其基本分类都是贝叶斯公式。

这里需要说明的是，上面的计算中除了利用了贝叶斯公式外，还利用了“全概率公式”，即：

在概率论和统计学中，数学期望是试验中每次可能结果的概率乘以其结果的总和。它是最基本的数学特征之一，反映随机变量平均值的大小。

假设X是一个离散随机变量，其可能的取值有：，各个取值对应的概率取值为：，则其数学期望被定义为：

假设X是一个连续型随机变量，其概率密度函数为则其数学期望被定义为：

概率中，方差用来衡量随机变量与其数学期望之间的偏离程度；统计中的方差为样本方差，是各个样本数据分别与其平均数之差的平方和的平均数。数学表达式如下： 

在概率论和统计学中，协方差被用于衡量两个随机变量X和Y之间的总体误差。数学定义式为：

0-1分布是单个二值型离散随机变量的分布，其概率分布函数为：

几何分布是离散型概率分布，其定义为：在n次伯努利试验中，试验k次才得到第一次成功的机率。即：前k-1次皆失败，第k次成功的概率。其概率分布函数为：

二项分布即重复n次伯努利试验，各次试验之间都相互独立，并且每次试验中只有两种可能的结果，而且这两种结果发生与否相互对立。如果每次试验时，事件发生的概率为p，不发生的概率为1-p，则n次重复独立试验中发生k次的概率为：

高斯分布又叫正态分布，其曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，如下图所示：

若随机变量X服从一个数学期望为，方差为的正态分布，则我们将其记为：。其期望值决定了正态分布的位置，其标准差（方差的开方）决定了正态分布的幅度。

指数分布是事件的时间间隔的概率，它的一个重要特征是无记忆性。例如：如果某一元件的寿命的寿命为T，已知元件使用了t小时，它总共使用至少t+s小时的条件概率，与从开始使用时算起它使用至少s小时的概率相等。下面这些都属于指数分布：

• 奶粉销售的时间间隔 
  

指数分布的公式可以从泊松分布推断出来。如果下一个婴儿要间隔时间t，就等同于t之内没有任何婴儿出生，即：

如：接下来15分钟，会有婴儿出生的概率为：

日常生活中，大量事件是有固定频率的，比如：

• 某医院平均每小时出生3个婴儿
• 某网站平均每分钟有2次访问
• 某超市平均每小时销售4包奶粉 
  

它们的特点就是，我们可以预估这些事件的总数，但是没法知道具体的发生时间。已知平均每小时出生3个婴儿，请问下一个小时，会出生几个？有可能一下子出生6个，也有可能一个都不出生，这是我们没法知道的。

泊松分布就是描述某段时间内，事件具体的发生概率。其概率函数为：

P表示概率，N表示某种函数关系，t表示时间，n表示数量，1小时内出生3个婴儿的概率，就表示为 P(N(1) = 3) ；λ 表示事件的频率。

还是以上面医院平均每小时出生3个婴儿为例，则；

那么，接下来两个小时，一个婴儿都不出生的概率可以求得为：

同理，我们可以求接下来一个小时，至少出生两个婴儿的概率：

【注】上面的指数分布和泊松分布参考了阮一峰大牛的博客：“泊松分布和指数分布：10分钟教程”，在此说明，也对其表示感谢！

对于一般的求极值问题我们都知道，求导等于0就可以了。但是如果我们不但要求极值，还要求一个满足一定约束条件的极值，那么此时就可以构造Lagrange函数，其实就是把约束项添加到原函数上，然后对构造的新函数求导。

对于一个要求极值的函数，图上的蓝圈就是这个函数的等高图，就是说 分别代表不同的数值(每个值代表一圈，等高图)，我要找到一组，使它的值越大越好，但是这点必须满足约束条件（在黄线上）。

也就是说和相切，或者说它们的梯度▽和▽平行，因此它们的梯度（偏导）成倍数关系；那我么就假设为倍，然后把约束条件加到原函数后再对它求导，其实就等于满足了下图上的式子。

最大似然也称为最大概似估计，即：在“模型已定，参数θ未知”的情况下，通过观测数据估计未知参数θ 的一种思想或方法。

其基本思想是： 给定样本取值后，该样本最有可能来自参数为何值的总体。即：寻找使得观测到样本数据的可能性最大。

举个例子，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。由于没有足够的人力和物力去统计全国每个人的身高，但是可以通过采样（所有的采样要求都是独立同分布的），获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。

求极大似然函数估计值的一般步骤：

• 2、对似然函数取对数；
• 4、令导数为0解出似然方程。
  

最大似然估计也是统计学习中经验风险最小化的例子。如果模型为条件概率分布，损失函数定义为对数损失函数，经验风险最小化就等价于最大似然估计。

信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。如果说概率使我们能够做出不确定性的陈述以及在不确定性存在的情况下进行推理，那信息论就是使我们能够量化概率分布中不确定性的总量。

1948年，香农引入信息熵，将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。

如果一个随机变量X的可能取值为，其概率分布为，则随机变量X的熵定义为H(X)：

两个随机变量X和Y的联合分布可以形成联合熵，定义为联合自信息的数学期望，它是二维随机变量XY的不确定性的度量，用H(X,Y)表示：

在随机变量X发生的前提下，随机变量Y发生新带来的熵，定义为Y的条件熵，用H(Y|X)表示：

条件熵用来衡量在已知随机变量X的条件下，随机变量Y的不确定性。

实际上，熵、联合熵和条件熵之间存在以下关系：

• 第二行推到第三行的依据是边缘分布P(x)等于联合分布P(x,y)的和；
• 第三行推到第四行的依据是把公因子logP(x)乘进去，然后把x,y写在一起；

相对熵又称互熵、交叉熵、KL散度、信息增益，是描述两个概率分布P和Q差异的一种方法，记为D(P||Q)。在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

对于一个离散随机变量的两个概率分布P和Q来说，它们的相对熵定义为：

两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵称为互信息，用I(X,Y)表示。互信息是信息论里一种有用的信息度量方式，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

互信息、熵和条件熵之间存在以下关系： 

最大熵原理是概率模型学习的一个准则，它认为：学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用约束条件来确定模型的集合，所以，最大熵模型原理也可以表述为：在满足约束条件的模型集合中选取熵最大的模型。

前面我们知道，若随机变量X的概率分布是，则其熵定义如下：

式中，|X|是X的取值个数，当且仅当X的分布是均匀分布时右边的等号成立。也就是说，当X服从均匀分布时，熵最大。

直观地看，最大熵原理认为：要选择概率模型，首先必须满足已有的事实，即约束条件；在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性；“等可能”不易操作，而熵则是一个可优化的指标。

与《关于泊松分布及其应用》相关的范文

学 年 论 文 题目: 浅析二项分布与泊松分布之间的关系 学 生: 学 号: 院 (系): 理学院 专 业: 信息与计算科学 指导教师: 安晓钢 2013 年11月25日 浅析二项分布与泊松分布之间的关系 信息121班; 指导教师:安晓钢 (陕西科技大学理学院 陕西 西安 710021) 摘 要:泊松分布刻画了稀有事件在一段时间内发生次数这一随机变量的分布,如电话交换台单位时间内接到的呼唤次数等. ...

科技信息 ○本刊重稿○ SCIENCE&TECHNOLOGYINFORMATION2010年第23期 随机变量可加性及在概率论与数理统计 教学中的应用 屈聪张水利 (平顶山学院数学与信息科学学院河南 [摘 2 平顶山467000) 要]随机变量的可加性是概率论与数理统计中一个非常重要的内容,但是很多教材都没有较系统的对此问题进行讨论.本文给出了 二项分布.泊松分布.正态分布.χ分布.Γ-分 ...

摘要:汽车保险定价模型在非寿险精算领域内占有重要地位,本文对车险定价模型一百多年来的研究进展作了综述性的回顾.首先,本文介绍了车险定价模型的先验估费方法:其次着重介绍了 ...

泊松回归在生育率研究中的应用 郭志刚 巫锡炜* [摘 要] 泊松回归是专门分析因变量为计数变量的回归模型.文章通过对 2001年全国计划生育/生殖健康调查数据的泊松回归分析来介绍其在生育率研究中 的应用.泊松回归除了可以接受虚拟编码方式的年龄.城乡等常规人口学分类自变 量外, 还可以直接接受支出.收入等连续型自变量, 因此可以更深入地进行生育率的 测量.比较与分析. [关键词] 泊松回归 计数变量 ...

泊松积分值的计算方法及其应用 王雯雯 摘要 在一般高等数学教材中对泊松积分的计算很少有涉及,而在实际问题中,例如在处理概率与统计问题及热传导等问题时都会用到泊松积分,但由于泊松积分的被积函数不是初等函数,因此,不能用牛顿-莱布尼兹公式来计算其积分值, 本文介绍泊松积分的七种证明方法,最后给出泊松积分在数学分析.概率统计及其物理等方面的应用. 关键词:泊松积分:方法:应用 The

第29卷第4期 计算机仿真 2012年4月 文章编号:12)04-0229-05 泊松分布灰色理论在物流需求预测中的应用 闫 1娟,李 萍 2 (1．河南师范大学网络中心,河南新乡．郑州轻工业学院,河南郑州450002) 摘要:研究物流需求预测准确度问题.物流需求预测中存在数据小以及非线性特点,使预测系统存在不确定性.为解决上述问题,提出了一种泊松分布的神 ...

谈概率论中二项分布的泊松近似与正态近似 摘要:二项分布是概率论中一个非常重要的分布,它具有广泛的实际应用性.然而,当试验次数很大时用二项概率公式来计算事件发生的概率很麻烦,这样就有必要研究近似计算的方法.本文给出泊松近似和正态近似,并给出二者的对比分析,完整地阐述了二项分布的两种近似情况,它将是众多概率论与数理统计教材的补充,是可靠的理论依据. 关键词:二项分布:泊松近似 :正态近似:实验数据对比 ...

中心极限定理及其应用 [摘要]中心极限定理的产生具有一定的客观背景,最常见的是德莫佛-拉普拉斯中心极限定理和林德贝格-勒维中心极限定理.它们表明了当n充分大时,方差存在的n个独立同分布的随机变量和近似服从正态分布,在实际中的应用相当广泛.本文讨论了中心极限定理的内容.应用与意义. [关键词]:中心极限定理 正态分布 随机变量 一.概述 概率论与数理统计是研究随机现象.统计规律性的学科.随机现象的规 ...

<概率论与数理统计>笔记(考研版) 一.课程导读 "概率论与数理统计"是研究随机现象的规律性的一门学科 统计规律性 对随机现象,从表面上看,由于人们事先不能知道会出现哪一种结果,似乎是不可捉摸的:其实不然．人们通过实践观察到并且证明了,在相同的条件下,对随机现象进行大量的重复试验(观测),其结果总能呈现出某种规律性．例如,多次重复抛一枚硬币,正面 朝上和反面朝上的次