題:
一致且有偏差的估計量的示例?
Jimmy Wiggles
2015-09-25 17:42:50 UTC
view on stackexchange narkive permalink

真的很困惑。我真的很想一個例子或情況,其中估算器B既是一致的又是有偏差的。

這是上課嗎?
我認為您正在尋找“時間序列”示例的最新規範將其轉換為另一個問題,因為這會使已經提供的出色答案無效。但這很好-您可以提出一個新問題。
我看到你改變了你的問題。鑑於您先前的問題已經解決了幾個問題,我建議您將其改回並發布一個專門針對時間序列模型的新問題。
[相關](http://stats.stackexchange.com/q/31036/2970)和[有點相關](http://stats.stackexchange.com/q/53358/2970)。
令人驚訝的是,即使您要求與時間序列相關的估計量,也沒有人提到AR(1)的OLS。估計量是有偏見的,但是是一致的,並且顯示起來也很容易(並且使用谷歌搜索將為您提供很多材料)。編輯:似乎時間序列請求是一個較晚的添加,這可以解釋缺少此類答案的原因...
這是一個簡單的例子:$ \ bar {X} _n + \ epsilon / n $,$ \ epsilon \ neq 0 $。
四 答案:
JohnK
2015-09-25 17:56:09 UTC
view on stackexchange narkive permalink

我能想到的最簡單的示例是我們大多數人直觀地看到的樣本方差,即偏差的平方和除以 $ n $ span>而不是 $ n-1 $ span>:

$$ S_n ^ 2 = \ frac {1} {n} \ sum_ {i = 1} ^ n \ left(X_i- \ bar {X} \ right)^ 2 $$ span>

很容易證明 $ E \ left(S_n ^ 2 \ right)= \ frac {n-1} {n} \ sigma ^ 2 $ span>,因此估計量有偏差。但是,假設有限方差 $ \ sigma ^ 2 $ span>,請注意,隨著 $ n \ to \ infty $,偏差變為零 span>因為

$$ E \ left(S_n ^ 2 \ right)-\ sigma ^ 2 =-\ frac {1} {n} \ sigma ^ 2 $$ span>

還可以證明估計量的方差趨於零,因此估計量收斂於均方值。因此,它在概率上也是收斂的。

這是一個有用的示例,儘管在這裡它可能對“偏見”應用了一個相當微弱的解釋(在問題本身中使用時有點模棱兩可)。也可以要求更強的東西,例如,一系列一致的估計量,但偏差甚至不會漸近消失。
@cardinal為了使估計量一致,偏差必須漸近消失,不是嗎?
[否。](http://stats.stackexchange.com/questions/31036/what-is-the-the-difference-between-a-consistent-estimator-and-an-unbiased-estimator#comment60096_31038)(請參閱評論流更多細節。)
我認為稱呼您的估算器$ \ hat \ sigma ^ 2 $而不是$ S ^ 2 $會很有幫助,因為$ S ^ 2 $通常是指無偏估算器,而$ \ hat \ sigma ^ 2 $通常是指指MLE。
@CliffAB是的,這就是索引$ n $所表示的,偏差的平方和除以$ n $,而不是常規的$ n-1 $。
是的。我已經習慣了$ S ^ 2 $,以至於$ n $甚至都沒有註冊
Adrian
2015-09-25 18:35:22 UTC
view on stackexchange narkive permalink

一個簡單的例子是在給定$ n $ i.i.d的情況下估計參數$ \ theta > 0 $。觀測值$ y_i \ sim \ text {Uniform} \ left [0,\,\ theta \ right] $。

讓$ \ hat {\ theta} _n = \ max \ left \ {y_1,\ ldots,y_n \ right \} $。對於任何有限的$ n $,我們都有$ \ mathbb {E} \ left [\ theta_n \ right] < \ theta $(因此,估計量有偏差),但在極限情況下,它等於$ \ theta $的概率為1是一致的。)

RUser4512
2015-09-25 17:56:48 UTC
view on stackexchange narkive permalink

考慮任何無偏且一致的估計量$ T_n $和序列$ \ alpha_n $收斂到1($ \ alpha_n $不必是隨機的)並形成$ \ alpha_nT_n $。它是有偏見的,但由於$ \ alpha_n $收斂到1而保持一致。

從維基百科:一致,如果它的概率收斂到參數的真實值:$$ \ underset {n \ to \ infty} {\ operatorname {plim}} \; T_n = \ theta。$$

Now回想一下,估計量的偏差定義為:

$$ \ operatorname {Bias} _ \ theta [\,\ hat \ theta \,] = \ operatorname {E} _ \ theta [\, \ hat {\ theta} \,]-\ theta $$

偏差確實為非零,並且概率收斂仍為真。

我感謝您的答復和解釋。我現在有了更好的理解。謝謝
這個答案在開始時需要進行一些小修正,以明確表明*不是*任何無偏的$ T_n $都可以。原始估算器序列本身必須保持一致。
Plissken
2015-09-27 21:28:59 UTC
view on stackexchange narkive permalink

在包含滯後因變量作為回歸變量的時間序列設置中,OLS估計量將保持一致但有偏差。這樣做的原因是,為了顯示OLS估計量的無偏性,我們需要嚴格的外生性,$ E \ left [\ varepsilon_ {t} \ left | x_ {1},\,x_ {2,},\,\ ldots ,\,x_ {T} \ right。\ right] $,即在$ t $期間內的誤差項$ \ varepsilon_ {t} $與所有時間段內的所有回歸變量都不相關。但是,為了顯示OLS估計量的一致性,我們只需要同時期外生$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] $,即誤差項$ \ varepsilon_ {t} $,在$ t $期間與回歸變量$ x_ {t} $在$ t $期間不相關。考慮AR(1)模型:$ y_ {t} = \ rho y_ {t-1} + \ varepsilon_ {t},\; \ varepsilon_ {t} \ sim N \ left(0,\:\ sigma _ {\ varepsilon} ^ {2} \ right)$和$ x_ {t} = y_ {t-1} $從現在開始。

首先,我證明嚴格的外生性在包含滯後因變量作為回歸變量的模型中不成立。讓我們看一下$ \ varepsilon_ {t} $和$ x_ {t + 1} = y_ {t} $ $$ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \之間的相關性left [\ varepsilon_ {t} y_ {t} \ right] = E \ left [\ varepsilon_ {t} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)\ right] $$

$$ = \ rho E \ left(\ varepsilon_ {t} y_ {t-1} \ right)+ E \ left(\ varepsilon_ {t} ^ {2} \ right)$$

$$ = E \ left(\ varepsilon_ {t} ^ {2} \ right)= \ sigma _ {\ varepsilon} ^ {2} >0 \(Eq。(1))。$$

如果我們假設是連續外生的,則$ E \ left [\ varepsilon_ {t} \ y y_ {1},\:y_ {2},\:\ ldots \ ldots,y_ {t-1} \ right] = 0 $,即在期間$ t $中的誤差項$ \ varepsilon_ {t} $與先前時間段中的所有回歸變量都不相關,而當前則是上方的第一個項$ \ rho E \ left(\ varepsilon_ {t} y_ {t-1} \ right)$,將消失。從上面可以清楚地看出,除非嚴格地限制了外生性,否則期望$ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \ left [\ varepsilon_ {t} y_ {t} \ right] \ neq0 $。但是,應該清楚的是,同期的外生性$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] $確實成立。

現在讓我們來看一下估算上面指定的AR(1)模型時,OLS估算器的偏差。 $ \ rho $,$ \ hat {\ rho} $的OLS估計量為:

$$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)y_ {t-1}} { \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \\(等式(2 ))$$

然後對所有先前,同時代和將來的值$ E \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,}, \,\ ldots,\,y_ {T-1} \ right。\ right] $,等於$ Eq。 (2)$:

$$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T -1} \ right。\ right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1}, \,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$

但是,我們從$ Eq知道。 (1)$那$ E \ left [\ varepsilon_ {t} y_ {t} \ right] = E \ left(\ varepsilon_ {t} ^ {2} \ right)$這樣$ \ left [\ varepsilon_ {t } \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] \ neq0 $表示$ \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1 } \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \ neq0 $因此$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] \ neq \ rho $但是有偏差:$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,},\,\, \ ldots,\,y_ {T-1} \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} == rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} E \ left(\ varepsilon_ {t} ^ {2} \ right)y_ {t-1} } {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = $$ \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ sigma _ {\ varepsilon} ^ {2} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} $。

我假設要顯示的是AR(1)模型中OLS估計量的一致性是同時發生的外生性,即$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] = E \ left [\ varepsilon_ {t} \ left | y_ {t-1} \ right。\ right] = 0 $導致時刻條件$ E \ left [\ varepsilon_ {t} x_ {t} \ right] = 0 $和$ x_ {t} = y_ {t-1} $。和以前一樣,我們將$ \ rho $,$ \ hat {\ rho} $的OLS估計值給出為:$$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ { t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ { T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$

現在假設$ plim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2} = \ sigma_ {y} ^ {2} $和$ \ sigma_ { y} ^ {2} $是正數和有限數,$ 0< \ sigma_ {y} ^ {2} < \ infty $。

然後為$ T \ rightarrow \ infty $,並且只要大數定律(LLN)適用於$ p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1} = E \ left [ \ varepsilon_ {t} y_ {t-1} \ right] = 0 $。使用此結果,我們得到:$$ \ underset {T \ rightarrow \ infty} {p \ lim \ hat {\ rho}} = \ rho + \ frac {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {0} {\ sigma_ {y} ^ {2}} = \ rho $$

因此證明了$ p $,$ \ hat {\的OLS估計量AR(1)模型中的$ rho $是有偏但一致的。請注意,該結果適用於所有包含滯後因變量作為回歸變量的回歸。



該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...