第十四周作业
1.
Hedge算法的$Regret$有这个性质：
即
，其中$\eta$为学习率。取$\eta=\frac{\varepsilon}{2\rho^2}$，代入得
2.
(a).
$\hat{X}\sim B(N, 0.7)$，则 $E\frac{\hat{X}}{N}=\frac{E\hat{X}}{N}=\frac{0.7N}{N}=0.7$，所以是无偏估计
$E\hat{X}=0.7N$，$D\hat{X}=N\times0.7\times(1-0.7)=0.21N$
(b).
令$X_{\text{young}} \sim \text{Binomial}(0.6N, 0.5)$，$X_{\text{old}} \sim \text{Binomial}(0.4N, 0.9)$
用分层抽样方式构造新的估计量$Y=w_{\text{young}}\frac{X_{\text{young}}}{0.6N}+w_{\text{old}}\frac{X_{\text{old}}}{0.4N}$，其中$w_{\text{young}}+w_{\text{old}}=1$
由于人群中年轻人和老年人各占一半，所以$w_{\text{young}}=w_{\text{old}}=0.5$
所以$Y=\frac{5X_{\text{young}}}{6N}+\frac{5X_{\text{old}}}{4N}$
$EY=\frac5{6N}EX_{\text{young}}+\frac{5}{4N}EX_{\text{old}}=0.25+0.45=0.7$，是无偏估计，且$DY=\frac{77}{480N}=\frac{0.16}{N}<DX$，方差更小
3.
(a).
$EX=0.05\mu_1+0.95\mu_2$，$DX’=EX’^2-(EX’)^2\Rightarrow EX_{高}^2=\sigma_1^2+\mu_1^2,EX_{低}^2=\sigma_2^2+\mu_2^2$
所以
所以$D\dfrac{X}{N}=\dfrac{DX}{N}=\dfrac{0.05\sigma_1^2+0.95\sigma_2^2+0.05\cdot0.95(\mu_1-\mu_2)^2}{N}$
(b).
$Y=w_{\text{cs}}\frac{X_{\text{cs}}}{0.2N}+w_{\text{other}}\frac{X_{\text{other}}}{0.8N}$，根据两者的比例有$w_{\text{cs}}=0.05, w_{\text{other}}=0.95$，所以$Y=\frac{X_{\text{cs}}}{4N}+\frac{19X_{\text{other}}}{16N}$
$EY=\frac{0.2N \mu_1}{4N}+\frac{19\cdot 0.8N \mu_2}{16N}=\frac{\mu_1}{20}+\frac{19\mu_2}{20}=EX$，是无偏估计
且$DY=\frac1{16N^2}0.2N\sigma_1^2+\left(\frac{19}{16N}\right)^20.8N\sigma_2^2=\dfrac{0.0125\sigma_1^2+1.128125\sigma_2^2}{N}<D\frac{X}{N}$，更小
