Bernstein多项式和连续函数的多项式近似

开学前随手翻了一下数值分析的教材,发现里面提到了一个定理

设$I = [0, 1]$,$f \in C(I)$,那么存在一串多项式 $\{ p_n \}$,满足 $\lim_{n \to \infty} \sup_{x \in I} |p_n(x) - f(x)| = 0$。

定理中的 $p_n$ 可以构造性的找出来,下面的Bernstein多项式就是一种可能

 p_n(x) = \sum_{i=0}^n {n \choose i} x^i(1-x)^{n-i} f(\frac{i}{n})

这有一个概率论版本的证明:

首先考虑一串独立的服从Bernoulli分布的随机变量$X_1, X_2, \cdots$,满足$\mathbb P[X_i = 1] = x$。令$S_n = \frac{1}{n} \sum_{i=1}^n X_n$,那么有

 \mathbb E[f(S_n)] = \sum_{i=0}^n {n \choose i} p^i(1-p)^{n-i} f(\frac{i}{n}) = p_n(p)

那么对于$\delta > 0$有如下估计

 \begin{aligned} |p_n(x) - f(x)| & = |\mathbb E[f(S_n) - f(x)]| \leq \mathbb E[|f(S_n) - f(x)|] \\ &\leq \mathbb E[|f(S_n) - f(x)| \chi_{\{|S_n - x| < \delta\}}] + 2\sup_{y\in I} |f(y)| \mathbb P[|S_n - x| \geq \delta] \end{aligned}

由于$f \in C(I)$,其在$I$上一致连续并且有界,对于$\varepsilon > 0$,有$\delta > 0$使得当$|a - b| < \delta$时有$|f(a) - f(b)| < \varepsilon$。另外,根据Chebyshev不等式并且注意到$\mathbb E[S_n] = x$

 \mathbb P[|S_n - x| \geq \delta] \leq \frac{\text{Var}[S_n]}{\delta^2} = \frac{x(1-x)}{n\delta^2} \leq \frac{1}{4n\delta^2}

最终我们有如下估计

 \sup_{x \in I} |p_n(x) - f(x)| \leq \varepsilon + \frac{\sup_{y\in I}|f(y)|}{2n\delta^2}

这样最后就可以得到相应的结论。同时,这个方法还可以构造出一系列类似的多项式。

Read More

Carmér‘s Theorem

我们知道,两个独立的正态随机变量加起来还是一个正态的随机变量。但是反过来呢?是不是两个独立的随机变量加起来是个正态,它们就都是正态呢?Carmér定理说的就是这样一件事情:假设X_1, \cdots, X_n是一组独立的随机变量,并且X_1+\cdots+X_n是服从正态分布的,那么X_1,\cdots,X_n都是服从正态分布的。

这是这学期概率论课上老师给的bonus问题,这个定理原始论文是“Über eine Eigenschaft der normalen Verteilungsfunktion”,一篇用德文写的。然后我看着它的公式大概猜了一下这篇文章在干啥…… 证明见下面正文,应该是对的吧。感觉这个证明把这学期实分析、复分析学的东西都用上了一些。

主要的思路是,先证明特征函数\mathbb E[e^{itX}]可以定义在整个复平面上,并且是一个解析函数。同时,证明这个函数的增长阶是2并且没有零点,之后用Hadamard因子分解定理说明它的形式。

还有一个叫做Raikov定理,和这个定理非常相似,把定理中的“正态分布”换成“Poisson分布”就是Raikov定理的内容。证明和这个定理也很像,不过需要先说明两个随机变量都是离散的。

(more…)

Read More

Pólya’s Urn

Pólya’s Urn是这样一个模型:假设现在有一个盒子,里面有r个红球和g个绿球,现在不断地随机从盒子取出一个球,之后再放回去,外加放入额外的c个和取出的球颜色相同的球。现在问,盒子中绿色球的比例在最后是否会趋向与某个分布?

实际上最后这个比例会是一个参数是g/cr/c的Beta分布。

首先我们设S_n = r + g + nc是第n次操作后盒子中所有球的数目。再设G_n, R_n分别是第n次操作后盒子中绿色球、红色球的数目。以及令X_n = G_n / S_n, \mathcal F_n = \sigma(G_k, S_k, 0 \leq k \leq n)。计算条件期望

 \begin{aligned}
\mathbb E[G_{n+1} | \mathcal F_n] &= \frac{G_n}{S_n}(G_n + c) + \frac{R_n}{S_n}G_n \\
&= (c + S_n) X_n = S_{n+1} X_n
\end{aligned}

可以看出\mathbb E[X_{n+1}|\mathcal F_n] = X_n\{X_n\}是一个鞅。再由于0\leq X_n \leq 1,我们知道X_n几乎处处收敛到一个随机变量X。现在考虑其分布。

首先可以计算出在第n步及以前,有m \leq n次取出绿色球的概率,并且写为紧凑的形式如下

 \begin{aligned}
&\mathbb P\left[ X_n = \frac{mc + g}{nc + g + r} \right] \\&= \frac{n!}{m!(n-m)!}\cdot \frac{\displaystyle\prod_{k=0}^{m-1}(k + g/c) \prod_{k=0}^{n - m - 1}(k + r/c)}{\displaystyle\prod_{k=0}^{n - 1}(\frac{g+r}{c} + k)}\\&= \frac{\Gamma(n + 1)}{\Gamma(m + 1)\Gamma(n - m + 1)}\cdot \frac{\Gamma(m + g/c)\Gamma(n - m + r/c)}{\Gamma(n + (g + r)/c)\text{B}(r/c, g/c)}
\end{aligned}

其中\Gamma\text{B}分别是Gamma函数和Beta函数。

接下来利用Stirling公式\Gamma(x) = \sqrt{2\pi/x} (x/e)^x (1 + O(1/x)),可以得到

 \frac{\Gamma(x + a)}{\Gamma(x + b)} = x^{a - b} \left( 1 + O\left( \frac{1}{x} \right) \right)\text{ as } x \to \infty

那么对于固定的\alpha, \beta, m满足0 < \alpha < \beta < 1以及\alpha n < m < \beta n,可以有

 \begin{aligned}
&\mathbb P\left[ X_n = \frac{mc + g}{nc + g + r} \right] \\&= \frac{1}{\text{B}(r/c, g/c)} n^{1 - (g + r)/c} (n - m)^{r/c - 1} m^{g/c - 1} \left( 1 + O\left( \frac{1}{n} \right) \right)\\
&= \frac{1}{n \text{B}(r/c, g/c)} \left (1 - \frac{m}{n} \right )^{r/c - 1} \left( \frac{m}{n} \right)^{g/c - 1} \left( 1 + O\left( \frac{1}{n} \right) \right)
\end{aligned}

对于所有满足\alpha n < m < \beta nm求和

 \lim_{n\to \infty} \mathbb P[\alpha \leq X_n \leq \beta] = \frac{1}{\text{B}(r/c, g/c)}\int_{\alpha}^\beta (1 - x)^{r/c - 1}x^{g/c - 1} dx

最后可以得到X的分布是\text{Beta}(g/c, r/c)

Read More

多维正态分布中的边际分布、条件分布及Bayes公式

这个是概率论的一个期末小论文,大概删掉了开头结尾一些废话放在这里。

这篇文章主要是想要证明几个关于多维正态分布的很有用的定理,一是已知一个多维正态分布的联合分布,求边际分布以及条件分布的公式。二是已知一个条件分布和先验分布求后验分布的Bayes公式。这几个公式在进行统计的时候会比较有用。

预警:下面会有大量的公式,如果有公式恐惧症的话看每一节开头的结论就好了。

(more…)

Read More