真的很困惑。我真的很想一個例子或情況,其中估算器B既是一致的又是有偏差的。
真的很困惑。我真的很想一個例子或情況,其中估算器B既是一致的又是有偏差的。
我能想到的最簡單的示例是我們大多數人直觀地看到的樣本方差,即偏差的平方和除以 $ n $ span>而不是 $ n-1 $ span>:
$$ S_n ^ 2 = \ frac {1} {n} \ sum_ {i = 1} ^ n \ left(X_i- \ bar {X} \ right)^ 2 $$ span>
很容易證明 $ E \ left(S_n ^ 2 \ right)= \ frac {n-1} {n} \ sigma ^ 2 $ span>,因此估計量有偏差。但是,假設有限方差 $ \ sigma ^ 2 $ span>,請注意,隨著 $ n \ to \ infty $,偏差變為零 span>因為
$$ E \ left(S_n ^ 2 \ right)-\ sigma ^ 2 =-\ frac {1} {n} \ sigma ^ 2 $$ span>
還可以證明估計量的方差趨於零,因此估計量收斂於均方值。因此,它在概率上也是收斂的。
一個簡單的例子是在給定$ n $ i.i.d的情況下估計參數$ \ theta > 0 $。觀測值$ y_i \ sim \ text {Uniform} \ left [0,\,\ theta \ right] $。
讓$ \ hat {\ theta} _n = \ max \ left \ {y_1,\ ldots,y_n \ right \} $。對於任何有限的$ n $,我們都有$ \ mathbb {E} \ left [\ theta_n \ right] < \ theta $(因此,估計量有偏差),但在極限情況下,它等於$ \ theta $的概率為1是一致的。)
考慮任何無偏且一致的估計量$ T_n $和序列$ \ alpha_n $收斂到1($ \ alpha_n $不必是隨機的)並形成$ \ alpha_nT_n $。它是有偏見的,但由於$ \ alpha_n $收斂到1而保持一致。
從維基百科:一致,如果它的概率收斂到參數的真實值:$$ \ underset {n \ to \ infty} {\ operatorname {plim}} \; T_n = \ theta。$$
Now回想一下,估計量的偏差定義為:
$$ \ operatorname {Bias} _ \ theta [\,\ hat \ theta \,] = \ operatorname {E} _ \ theta [\, \ hat {\ theta} \,]-\ theta $$
偏差確實為非零,並且概率收斂仍為真。
在包含滯後因變量作為回歸變量的時間序列設置中,OLS估計量將保持一致但有偏差。這樣做的原因是,為了顯示OLS估計量的無偏性,我們需要嚴格的外生性,$ E \ left [\ varepsilon_ {t} \ left | x_ {1},\,x_ {2,},\,\ ldots ,\,x_ {T} \ right。\ right] $,即在$ t $期間內的誤差項$ \ varepsilon_ {t} $與所有時間段內的所有回歸變量都不相關。但是,為了顯示OLS估計量的一致性,我們只需要同時期外生$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] $,即誤差項$ \ varepsilon_ {t} $,在$ t $期間與回歸變量$ x_ {t} $在$ t $期間不相關。考慮AR(1)模型:$ y_ {t} = \ rho y_ {t-1} + \ varepsilon_ {t},\; \ varepsilon_ {t} \ sim N \ left(0,\:\ sigma _ {\ varepsilon} ^ {2} \ right)$和$ x_ {t} = y_ {t-1} $從現在開始。
首先,我證明嚴格的外生性在包含滯後因變量作為回歸變量的模型中不成立。讓我們看一下$ \ varepsilon_ {t} $和$ x_ {t + 1} = y_ {t} $ $$ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \之間的相關性left [\ varepsilon_ {t} y_ {t} \ right] = E \ left [\ varepsilon_ {t} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)\ right] $$
$$ = \ rho E \ left(\ varepsilon_ {t} y_ {t-1} \ right)+ E \ left(\ varepsilon_ {t} ^ {2} \ right)$$
$$ = E \ left(\ varepsilon_ {t} ^ {2} \ right)= \ sigma _ {\ varepsilon} ^ {2} >0 \(Eq。(1))。$$
如果我們假設是連續外生的,則$ E \ left [\ varepsilon_ {t} \ y y_ {1},\:y_ {2},\:\ ldots \ ldots,y_ {t-1} \ right] = 0 $,即在期間$ t $中的誤差項$ \ varepsilon_ {t} $與先前時間段中的所有回歸變量都不相關,而當前則是上方的第一個項$ \ rho E \ left(\ varepsilon_ {t} y_ {t-1} \ right)$,將消失。從上面可以清楚地看出,除非嚴格地限制了外生性,否則期望$ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \ left [\ varepsilon_ {t} y_ {t} \ right] \ neq0 $。但是,應該清楚的是,同期的外生性$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] $確實成立。
現在讓我們來看一下估算上面指定的AR(1)模型時,OLS估算器的偏差。 $ \ rho $,$ \ hat {\ rho} $的OLS估計量為:
$$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)y_ {t-1}} { \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \\(等式(2 ))$$
然後對所有先前,同時代和將來的值$ E \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,}, \,\ ldots,\,y_ {T-1} \ right。\ right] $,等於$ Eq。 (2)$:
$$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T -1} \ right。\ right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1}, \,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$
但是,我們從$ Eq知道。 (1)$那$ E \ left [\ varepsilon_ {t} y_ {t} \ right] = E \ left(\ varepsilon_ {t} ^ {2} \ right)$這樣$ \ left [\ varepsilon_ {t } \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] \ neq0 $表示$ \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1 } \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \ neq0 $因此$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] \ neq \ rho $但是有偏差:$ E \ left [\ hat {\ rho} \ left | y_ {1},\,y_ {2,},\,\ ldots,\,y_ {T-1} \ right。\ right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1},\,y_ {2,},\,\, \ ldots,\,y_ {T-1} \ right。\ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} == rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} E \ left(\ varepsilon_ {t} ^ {2} \ right)y_ {t-1} } {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = $$ \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ sigma _ {\ varepsilon} ^ {2} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} $。
我假設要顯示的是AR(1)模型中OLS估計量的一致性是同時發生的外生性,即$ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right。\ right] = E \ left [\ varepsilon_ {t} \ left | y_ {t-1} \ right。\ right] = 0 $導致時刻條件$ E \ left [\ varepsilon_ {t} x_ {t} \ right] = 0 $和$ x_ {t} = y_ {t-1} $。和以前一樣,我們將$ \ rho $,$ \ hat {\ rho} $的OLS估計值給出為:$$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ { t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left(\ rho y_ {t-1} + \ varepsilon_ {t} \ right)y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ { T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$
現在假設$ plim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2} = \ sigma_ {y} ^ {2} $和$ \ sigma_ { y} ^ {2} $是正數和有限數,$ 0< \ sigma_ {y} ^ {2} < \ infty $。
然後為$ T \ rightarrow \ infty $,並且只要大數定律(LLN)適用於$ p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1} = E \ left [ \ varepsilon_ {t} y_ {t-1} \ right] = 0 $。使用此結果,我們得到:$$ \ underset {T \ rightarrow \ infty} {p \ lim \ hat {\ rho}} = \ rho + \ frac {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {0} {\ sigma_ {y} ^ {2}} = \ rho $$
因此證明了$ p $,$ \ hat {\的OLS估計量AR(1)模型中的$ rho $是有偏但一致的。請注意,該結果適用於所有包含滯後因變量作為回歸變量的回歸。