数学期望 Expectation

<svg style="display: none;">
 <path d="M5,0 0,2.5 5,5z" id="raphael-marker-block" stroke-linecap="round" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
 </svg>
 <h1 id="数学期望-expectation">数学期望 Expectation</h1>

<h2 id="序言">序言</h2>

机器学习中涉及到的很多概念都和 Expectation 相关联，例如：

<ul>
<li>任何分布，我们都关心其均值 mean、方差 variance、峰度 kurtosis、偏度 skewness；实际上都和数据期望相关；这些内容还和中心距以及泰勒级数相关联</li>
<li>机器学习中，针对模型的泛化能力 Generalization，常见对泛化误差 decompose 为 Bias（偏差，欠拟合）和 Variance（方差，过拟合）。这一过程就是利用 Expectation 推导的</li>
<li>最大期望算反 EM，明显地和 Expectation 有关联，其是利用了 Expectation 进行推导</li>
</ul>

所以本文特此明确一下这个基础概念。

<h2 id="期望的定义">期望的定义</h2>

The average value of some function f(x) under a probability distribution p(x) is called the expectation of f(x). 

如果 <