What is Sufficient Statistics?
举个例子：一个博士生打游戏的概率服从伯努利分布（打或者不打）。
$$f (x|\theta)=\theta^x(1-\theta)^{n-x}=\begin{cases}
\theta, & x = 1 \
1 - \theta, & x = 0
\end{cases}$$
若有 n 个独立同分布的博士生样本，则这 n 个样本的联合概率分布为
$$P_\theta({x_i}) \equiv \prod_{i=1}^n f (x_i|\theta)=\theta^{\sum x_i}(1-\theta)^{n-\sum{x_i}}$$
假设 $n=10$，那么事件 A：「样本中第 3、5、8 个博士生打游戏，其余博士生不打游戏」（即 ${x_i} = {0,0,1,0,1,0,0,1,0,0}$ ）的概率 $P_\theta(A) = \theta^3 (1-\theta)^7$.
显然，在没有任何额外信息的条件下，事件 A 的概率随着 $\theta$ 的值的变化而变化。
然而，假如此时我们得知了一条信息 T ：「样本中一共有三个博士生打游戏」。此时事件 A 的概率是多少呢？
根据穷举法，这三个博士生可能是第 1、2、3 号，可能是第 1、2、4 号，……，也可能是第 8、9、10 号，共 $C_{10}^3$ 种可能性。由于这些可能性相互等价，而事件 A 是它们当中的一种，因此 $P_\theta (A|T) = 1/C_{10}^3$.
此时事件 A 的概率公式里不再包含 $\theta$。也就是说，在已知信息 T 的情况下，事件 A 的概率不再随着 $\theta$ 的值的变化而变化。
事实上，只要知道了「样本中一共有 t 个博士生打游戏」，那么「样本中第 $k_1, \cdots, k_t$ 个博士生打游戏」的概率就是 $1/C_n^t$.
这在直觉上很好理解：只要知道「n 个样本中一共有 t 个 1」，那么「样本中某几个位置是 1」的概率就变成了 1 除以「n 中取 t 个位置」的组合数，而与参数 $\theta$ 无关了。
形式化推导：
令 $T(x)=\sum_{i=1}^n x_i=t$ (the total number of ones)，则
$$
P_\theta({x_i}|T=t)=\frac{P_\theta({x_i}, T=t)}{P_\theta(T=t)}=\frac{P_\theta({x_i})}{P_\theta(T=t)}=\frac{\theta^{\sum x_i}(1-\theta)^{n-\sum x_i}}{C_n^t\theta^t(1-\theta)^{n-t}}=\frac{1}{C_n^t}
$$
该式与 $\theta$ 无关。因此我们称 $T (x) = \sum_{i=1}^n x_i$ 是 $\theta$ 的 sufficient statistics.
一句话总结：$T (x)$ 是让参数 $\theta$ 不再重要的先验信息。
What is Complete Statsitics?
TBD
UMVUE
Uniformly minimum variance unbiased estimator.
References
- 数理统计|笔记整理（5）——估计量的进阶性质（1）：统计判决函数，UMRUE，Fisher信息量 - 知乎
- probability - How to find UMVUE of $\theta^k$ when $x_1, \ldots, x_n$ is a sample from Bernoulli$(\theta)$? - Mathematics Stack Exchange
- 完备统计量和充分统计量有什么联系吗？ - 知乎
Recap
