概率统计学相关笔记(九)

这里介绍几个常见的分布的最大似然估计解析解。 1. 多元高斯分布。 令为k元高斯分布,为iid样本。似然函数为 对数似然函数为 令上述偏导等于0得最大似然估计为 2. 伯努力分布 令为伯努力分布,为iid样本,似然函数为 对数似然函数为 令上述偏导数等于0得最 Continue reading 概率统计学相关笔记(九)

概率统计学相关笔记(七)

这篇来讲求标准误差的估计的一个碉堡的方法——Bootstrap。 统计量:样本的函数是一个统计量。所有对总体的估计都是用统计量作为估计量的。如对CDF的估计,用EDF去估计它,EDF是样本的函数。对统计泛函如期望的估计,用它的嵌入式估计量去估计它,嵌入式估计量 Continue reading 概率统计学相关笔记(七)

概率统计学相关笔记(六)

先来看看非参数估计。 经验分布函数(EDF):令为IID样本,经验分布函数是样本的如下函数:其中,称作指示函数。需要注意的是,EDF是随机函数,给定一组样本的值,这个函数就确定了。而给定一个x,它就是随机变量的函数,也就是一个随机变量。把n个样本看成是定值,或 Continue reading 概率统计学相关笔记(六)

概率统计学相关笔记(五)

ok,好久没更了,前面的都是理论基础,地基,接下来的才是我们的房屋!好了,高潮部分正式启动,统计推断! 统计推断(statistical inference):统计推断的问题是给定一组样本X1...Xn,去推断总体X的分布F。这个问题可庞大了,要从部分去推整体 Continue reading 概率统计学相关笔记(五)

概率统计学相关笔记(四)

统计学的基石就是大数定律与中心极限定理。大数定律告诉我们样本均值依概率收敛于总体均值,而中心极限定理进一步告诉我们样本均值大致服从正态分布。有这两个基础,统计推断的科学依据才有了保证。 5个收敛:是随机变量序列,是另一随机变量,令表示的CDF,为的CDF。 ( Continue reading 概率统计学相关笔记(四)

概率统计学相关笔记(三)

这篇讲各种概率不等式,这些不等式是统计学科学性的理论基础。主要理解各个不等式所代表的意义,这点很重要。 Markov不等式:X为一非负随机变量,E(X)存在,对任意t>0有证明: Chebyshev不等式:令,,则其中,。 证明:由Markov不等式可得 Continue reading 概率统计学相关笔记(三)

概率统计学相关笔记(二)

随机变量的数字特征:对于一个随机变量,知道了它的CDF或PDF就意味着已经知道了关于这个随机变量的一切。但一般来说,不需要了解一个随机变量的分布(或有时候很难求出随机变量的分布函数),而只需要它的某些特征,这些特征是和随机变量相关的,某种意义上具有一定的能表征 Continue reading 概率统计学相关笔记(二)

概率统计学相关笔记(一)

随机变量(Random Variable):概率初学者有时候可能会很困惑,记得之前讲概率都是P(A),P(B)的,都是一个事件发生的概率,然后什么独立事件啊,条件概率啊,贝叶斯啊,都是针对事件啊,不知道从什么时候开始冒出一个随机变量,就变成P(X)了。其实,只 Continue reading 概率统计学相关笔记(一)

2项分布期望及方差的直接求法

一般概率课本上对2项分布期望的求法都是把服从2项分布的随机变量看成N个伯努利随机变量的和,然后利用期望的相加性来求。这里直接推导下2项分布的期望。 设随机变量,即有则最后一步是把和式中的np提出来,剩下的和式是一个参数为(n-1,p)的2项分布的概率求和,值为 Continue reading 2项分布期望及方差的直接求法