まず、クラメル・ラオの不等式の一歩手前の式を見ることにしましょう。, コーシー・シュワルツの不等式として知られる下記の式を利用します。関数 $f = f(x)$ と $g = g(x)$ に関して適当な分布での期待値に関して, $$ Powered by Hugo and Minimal. \], それでは\(\mathbb{E}[Y_1]\)と\(\mathbb{E}[Y_2]\)を計算してみましょう。, それぞれ0.5527504と0.1050386の結果が得られており、こちらも\(\mu\)に非常に近いことが分かります。標本平均以外にも母平均の不偏推定量がいくらでもあり得ることが分かります。, しかし、なぜ\(\mu\)の不偏推定量として\(\bar{X}\)が使われているのでしょうか。それは\(\bar{X}\)が最も効率的な推定量であるからです。, 不偏推定量の中で一つ選ぶとしたら「効率性(efficiency)」というものを基準とします。同じ不偏推定量であれば、精度の高い推定量、つまり分散が小さい推定量がいいでしょう。この精度の良さが「効率性」です。他にも、「有効性」と呼ばれる場合もあります。, 効率性の最も良い推定量のことを有効推定量と呼びます。この効率性は簡単にいうと推定量の分散を意味します。これまで\(\mu\)の不偏推定量として\(\bar{X}\)、\(Y_1\)、\(Y_2\)を見てきました。これら3つの不偏推定量の効率性は\(V[\bar{X}]\)、\(V[Y_1]\)、\(V[Y_2]\)を用いて調べることが可能です。, それぞれの分散は2004.1535382、9974.5536133、2359.1813379であり、\(V[\bar{X}]\)が最も分散が小さい、つまり最も効率的な推定量であることが分かります。\(\bar{X}\)は一致推定量でありながら不偏推定量であり、そして最も効率的な\(\mu\)の推定量となります。, 先ほどの標本平均は一致推定量でありながら、不偏推定量でした。しかし、世の中には一致推定量でありながら、不偏推定量ではない推定量が存在します。その代表的な例が標本分散(\(s^2\))です。標本分散(\(s^2\))は母集団における分散(\(\sigma^2\))の一致推定量ですが、不偏推定量ではありません。, たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に1000万個の乱数を生成したとします。この場合、母分散(\(\sigma^2\))は10000となります。そして、この1000万個の値の標本分散(\(s^2\))と不偏分散(\(\hat{\sigma}^2\))を計算します。ちなみに、Rのvar()は不偏分散を計算するため、標本分散を求めるためには不偏分散に\(\frac{n-1}{n}\)を掛ける必要があります。, どれも母分散に非常に近い値が得られており、\(n\)を無限にすると母分散に一致すると予想されます。したがって、\(s^2 \overset{p}{\rightarrow} \sigma^2\)、\(\hat{\sigma}^2 \overset{p}{\rightarrow} \sigma^2\)であり、どれも一致推定量であることが分かります。, それでは\(s^2\)と\(\hat{\sigma}^2\)の平均値(\(\simeq\)期待値)を計算してみましょう。, 標本分散の期待値は約8000で、母分散の\(\frac{n-1}{n}\)、つまり\(\frac{4}{5}\)となります。一方、不偏分散の場合期待値が母分散に非常に近いことが分かります。したがって、不偏分散は一致性と不偏性があり、標本分散は一致性のみあることが分かります。, 逆に不偏推定量でありながら一致推定量ではない推定量も存在します。たとえば、以下のような例を考えてみましょう。, 要するに、絶対値の最も高かった値を\(\theta\)の推定量(\(\hat{\theta}\))として用いることを意味します。この場合、\(\hat{\theta}\)は一致推定量でしょうか。\(n\)を1から1000まで増やしながら確認してみましょう。, このように\(n\)をいくら増やしても\(\hat{\theta}\)は母数である0へ収束しないことが分かります。つまり、この推定量は一致推定量ではありません。それでは、この推定量は不偏推定量でしょうか。ここでは話を単純にするために\(n = 3\)の例を考えてみましょう。不偏性はサンプルサイズ(\(n\))と無関係ですので、これでも問題ないでしょう。試行数は100万とします。, 非常に0に近い結果が得られており、これはほぼ\(\mu\)と同じ値となります。施行数が無限回になると、\(\mathbb{E}[\hat{\theta}]\)は\(\mu\)と一致していくだろうと考えられます。, 我々が教科書でよく見る推定量は一般的に一致性と不偏性を同時に満たす推定量が多いでしょう。しかし、例外も常に存在します。標本分散もその一つの例です。他にも、最尤推定法から得られた分散の推定量は一致推定量ではあるものの、不偏推定量ではないことが知られています。, © All rights reserved. \mathbb E [\hat \theta(\mathbf X) S _ N(\theta, \mathbf X) ] endobj

$$, という不等式が成り立ちます。ここで $f (x \mid \theta)$ について期待値を取ることにします。右辺の第一因子は ${\rm MSE} (\theta, \hat \theta)$ に相当しますが、不偏推定量 $\hat \theta$ に関してはバイアスが $0$ であるため、, $$ 仮に不偏推定量を選んだ場合、$\rm MSE$ の第二項であるバイアスの二乗は $0$ となるため、$\rm MSE = Var$ が成り立ちます。実はパラメータ $\theta$ に対する不偏推定量の作り方は複数ありえます。 x��XK�1��W��@G��6���z+�����'�Bo���=�xfA�CBJ�^(� ��������@��#U�y��]����GP�,��/Y��W�Y��Ã>�r�ݣ�����z�D`PŭU��R�� �� ���Q8�ڎj;�� 'W(�I�:�� ڋN��rl�-��,dd�@����j�iY�u�/[��% �6�&`�l;���qh��^q�8�[�;�Вƍڠt�BH�@�X��� `w�E��:����V3ֻ�s�y��Г~W;��X/�6�l;��q�:��w ��-l)��Ӳ�X6�>[�EQ/�!d���C6��b$�T��/A�0���Ș��)l��ŏ�IB��|LL|\*��l���GA�G������a�r �t:R|�Bt�@S�t���yfĭgFW����0�����Ch�`�s�%����R�1K�z�ii. 最尤法 信頼区間 最尤法(6/6) 最尤推定量の性質 (i) 不偏性 E( ^) = (ii) 一致性 ^!p (n ! ということは, $$ (adsbygoogle = window.adsbygoogle || []).push({}); RとPython勉強中。駆け出しエンジニア。Kaggleデビュー。自由な働き方を目指しています。イギリスの経済学科2年/統計検定2級/ブロガー, 次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。. I _ N(\theta) = \mathbb E [ \{ S _ N (\theta, \mathbf X)\} ^ 2] = \mathbb E \left [ \left( \frac {\mathrm d} {\mathrm d \theta} \log f _ N (\mathbf X \mid \theta) \right) \right] 誤差項が独立同一な正規分布に従う場合、最小二乗推定量も正規分布に従うこと示し平均、分散を求めます。さらにt分布を使った回帰係数の有意性検定を導出します。 )-log(n-x)!\)は\(\theta\)に対して定数となるので、微分すると0になる。, \(l'(\theta)=\frac{x}{\theta}-\frac{n-x}{1-\theta}\), \(=\frac{x(1-\theta)-(n-x)\theta}{\theta(1-\theta)}\), 以上より、二項分布の場合、\(\hat{\theta}=\frac{x}{n}\)が\(\theta\)の最尤推定量となります。これで、「10回中8回表が出る」という例でいうならば、n=10、x=8となるため、最尤推定量が\(\frac{4}{5}\)であるという根拠が示せました。, 最尤推定量の「最も尤もらしい推定」の意味がわかっていただけたでしょうか。この推定手法が最も良いのかは、場合によります。統計学には他にも様々な推定手法があり、どれを使うのが良いかはシチュエーション毎に異なるからです。, (totalcount 44,443 回, dailycount 1,726回 , overallcount 3,239,948 回), 【独占】コロナ禍で人材登録急増、アノテーション単月売上高は4倍超-パソナJOB HUB.