Rao-Blackwellの定理

Rao-Blackwellの定理は十分統計量と不偏推定量に関する定理である。

$U(\bf X)$ は $\theta$ に対する不偏推定量であり、
$T(\bf X)$ は十分統計量であるとする。
このとき、 $V=V(\bf X)=E\left[U|T\right]$ は以下を満たす、

(1) $V$ は $\theta$ に関数する不偏推定量
(2) ${\rm Var}(V) \leq {\rm Var}(U)$

この定理の意味を考える前に、まず、不偏推定量、十分統計量について復習してみる。
まず、状況としてはある分布に対して、統計的モデルとして
分布族 $\left\{f(x;\theta) | \theta \in \Theta\right\}$
を考えている。ここで、パラメータの真値 $\theta_0$ が存在するとして、
この $\theta_0$ を $f(x,\theta_0)$ からの観測データ $X_1,X_2,\ldots,X_n$ から推定したい。