題:
推導OLS估計量的假設
Ieva
2015-04-30 22:57:22 UTC
view on stackexchange narkive permalink

有人可以為我簡要解釋一下,為什麼要計算OLS估計量需要六個假設中的每一個?我只發現了多重共線性-如果存在多重共線性,那麼我們就不能求反(X'X)矩陣,也就無法估計總體估計量。其他的怎麼樣(例如線性度,零均值誤差等)?

相關:[線性回歸通常假設的完整清單是什麼?](http://stats.stackexchange.com/q/16381/7290)
您是在尋找概念上的解釋,還是需要數學上的證明?
普通最小二乘法是一個數值過程,您不需要太多假設即可對其進行“計算”(除了可逆性之外)。需要根據這些假設來證明**合理,請參閱昨天的答案:http://stats.stackexchange.com/questions/148803/how-does-linear-regression-use-the-normal-distribution/148812#148812
您指的是“六個假設”?您只提到三個。
我指的是1)線性2)不存在多重共線性3)零均值誤差4)球形誤差(均方差和非自相關)5)非隨機回歸和6)正態分佈。因此,正如我從下面的答案中所了解的那樣,只有前三個是推導估計量的必要條件,而其他僅需確保估計量為BLUE?
*這些假設中的*都不是必需的。
三 答案:
Simon Degonda
2016-02-06 20:30:19 UTC
view on stackexchange narkive permalink

除了具有完美的多重共線性的情況之外,您始終可以計算OLS估計量。在這種情況下,您的X矩陣確實具有完美的多線性相關性。因此,由於可逆性問題,無法滿足完整等級假設,並且您無法計算OLS估計量。

從技術上講,您不需要其他OLS假設即可計算OLS估計量。但是,根據高斯-馬爾可夫定理,您需要滿足OLS假設(clrm假設),才能使估計量成為藍色。這裡的數學推導:

http://economictheoryblog.com/2015/02/26/markov_theorem/

此外,如果您正在尋找概述OLS假設的數量,即有多少,它們需要什麼以及如果您違反單個OLS假設會發生什麼,可以在此處進行詳盡的討論:

http://economictheoryblog.com/2015 / 04/01 / ols_assumptions /

我希望能有所幫助,乾杯!

Repmat
2015-04-30 23:23:38 UTC
view on stackexchange narkive permalink

以下內容基於簡單的橫截面,對於時間序列和麵板,有所不同。

  1. 在總體中,因此在樣本中,該模型可以寫為:\開始{align} \ newcommand {\ Var} {\ rm Var} \ newcommand {\ Cov} {\ rm Cov} Y & = \ beta_0 + \ beta_1 x_1 +…+ \ beta_k x_k + u \\ & = X \ beta + u \ end {align}這是線性假設,有時會被誤解。該模型的參數應為線性-即$ \ beta_k $。您可以隨意使用$ x_i $自己進行任何操作。對數,平方等。如果不是這種情況,則無法通過OLS估計模型-您需要一些其他非線性估計器。
  2. 隨機樣本(用於橫截面)進行推斷需要,並且樣品特性。
  3. 沒有完美的共線性,這意味著$ x_i $之間不可能有完美的關係。這是確保$(X'X)$是非奇數,從而使$(X'X)^ {-1} $存在的假設。
  4. 零條件均值:$ E(u | X )= 0 $。這意味著您已經正確地指定了模型,使得:沒有遺漏的變量,並且您估計的函數形式相對於(未知)種群模型是正確的。對於OLS,這始終是有問題的假設,因為無法知道它是否真正有效。
  5. 誤差項的方差是恆定的,以所有$ X_i $為條件:$ \ Var(u | X)= \ sigma ^ 2 $同樣,對於OLS的原理而言,這毫無意義,但它確保通常的標準錯誤有效。
  6. 正常;誤差項u與$ X_i $無關,並且遵循$ u \ sim N(0,\ sigma ^ 2)$。同樣,這與OLS的原理無關,但可以確保$ \ beta_k的採樣分佈$是正常的,$ \ hat {\ beta_k} \ sim N(\ beta_k,\ Var(\ hat {\ beta_k}))$。
  7. ol>

    現在了解其中的含義。

    1. 在1-6(經典線性模型假設)下,OLS是BLUE(最佳線性無偏估計量),在最小方差意義上最好。在所有線性估計器以及使用x的某些函數的所有估計器中,它也是有效的。更重要的是,在1-6下,OLS也是最小方差無偏估計量。這意味著在所有無偏估計量(不僅僅是線性估計量)中,OLS的方差最小。 OLS也是一致的。

    2. 在1-5下(高斯-馬爾可夫假設),OLS是藍色且高效(如上所述)。

    3. 在1-4以下,OLS是無偏且一致的。

    4. ol>

      實際上,OLS在弱的情況下也是一致的。比$(4)$的假設是:$(1)\ E(u)= 0 $和$(2)\ \ Cov(x_j,u)= 0 $。與假設4的不同之處在於,在此假設下,您不需要完美地把握功能關係。

我認為您對零均值狀況的描述太暗了。如果存在偏差,那麼將偏差的平方和減到最小是不合適的,但是,另一方面,您可以通過移動回歸方程式來捕獲偏差(將偏差吸收到$ \ beta_0 $中),然後* do *的均值為0。換句話說,4既不可能驗證又容易忽略。
對不起,但我不同意。還是我只是誤會你了?您可以發表意見還是提供參考。
我不是在談論故意扭曲的估計(例如嶺回歸),我認為OP對此不感興趣。我是在討論以下形式的模型:$ y = \ beta_0 + \ beta_1x_1 + \ ldots + \ beta_x x_n + \ epsilon$,其中---由於某種奇怪的原因---剩餘的$ \ epsilon $表示$ \ alpha \ ne0 $。在這種情況下,很容易對$ y = \ alpha + \ beta_0 + \ beta_1x_1 + \ ldots + \ beta_x x_n + \ eta $進行形式轉換,其中$ \ eta $的平均值為零。
@user3697176您編寫的內容不正確。我剛剛發布了一個答案來解釋原因。
如果不滿足假設1,我們是否仍不能使用OLS來估計總體協方差(即使我們知道沒有線性關係)?
Alecos Papadopoulos
2015-05-03 20:37:50 UTC
view on stackexchange narkive permalink

在另一個問題中的評論提出了對條件$ E(\ mathbf u \ mid \ mathbf X)= 0 $的重要性的懷疑,認為可以通過在回歸規範中包含一個常數項來進行糾正,因此,“它很容易被忽略”。

事實並非如此。在回歸中包含常數項將吸收誤差的可能為非零的條件均值如果我們假設該條件均值已經是常數而不是回歸函數的話,則將其設為 這個是必須獨立地對我們是否包括一個常數項進行的關鍵假設:

$$ E(\ mathbf u \ mid \ mathbf X)= const。$$

如果成立,那麼非零均值將成為一個煩人的問題,我們可以通過添加一個常數項來簡單地解決。

但是如果不成立(即,如果條件均值不是零或非零的常數),則包含常數項不能解決問題:在這種情況下,它將“吸收”的量取決於具體樣本和回歸變量的實現。實際上,與一系列誤差相關的未知係數並不是一個常數,而是可變的,取決於誤差項通過非恆定條件均值的回歸。

這意味著什麼?為簡單起見,假設最簡單的情況是$ E(u_i \ mid \ mathbf X _ {-i})= 0 $($ i $索引觀測值),但是$ E(u_i \ mid \ mathbf x_ {i})= h(\ mathbf x_i)$。即誤差項與回歸變量的均值無關,但與同期變量無關(在$ \ mathbf X $中,我們包括一系列誤差)。

假定我們

$$ \ mathbf y = \ mathbf a + \ mathbf X \ mathbfβ+ \ mathbfε$$

和壓縮符號

$$ \ mathbf y = \ mathbf Z \ mathbfγ+ \ mathbfε$$

其中$ \ mathbf a =(a,a,a ...)'$,$ \ mathbf Z = [\ mathbf 1:\ mathbf X] $,$ \ mathbfγ=(a,\ mathbfβ) '$,$ \ mathbfε= \ mathbf u-\ mathbf a $。

然後,OLS估計量將為

$$ \ hat {\ mathbfγ} = \ mathbfγ + \ left(\ mathbf Z'\ mathbf Z \ right)^ {-1} \ mathbf Z'\ mathbfε$$

對於 unbiasedness ,我們需要$ E \ left [\ mathbfε\ mid \ mathbf Z \ right] = 0 $。但是

$$ E \ left [ε_i\ mid \ mathbf x_i \ right] = E \ left [u_i-a \ mid \ mathbf x_i \ right] = h(\ mathbf x_i)-a $$

對於所有$ i $不能為零,因為我們檢查了$ h(\ mathbf x_i)$不是常數函數的情況。

$$ E \ left [\ mathbfε\ mid \ mathbf Z \ right] \ neq 0 \ implies E(\ hat {\ mathbfγ})\ neq \ mathbfγ$$

如果$ E(u_i \ mid \ mathbf x_ {i})= h(\ mathbf x_i)\ neq h(\ mathbf x_j)= E( u_j \ mid \ mathbf x_ {j})$,那麼即使我們在回歸中包括一個常數項,OLS估計量也不會無偏,這意味著效率的高斯-馬爾可夫結果也會丟失

此外,錯誤項$ \ mathbfε$對於每個$ i $具有不同的均值,因此也具有不同的方差(即,它是有條件的異方差)。因此,以回歸變量為條件的分佈在觀測值$ i $中是不同的。

但這意味著即使誤差項$ u_i $被假定為正態,採樣誤差$ \ hat {\ mathbfγ}-\ mathbfγ$的分佈也將是正態的,但不是零均值的道德行為,並且具有未知的偏見。並且方差會有所不同。因此

如果$ E(u_i \ mid \ mathbf x_ {i})= h(\ mathbf x_i)\ neq h(\ mathbf x_j)= E(u_j \ mid \ mathbf x_ {j})$,那麼即使我們在回歸中包括一個常數項,假設檢驗也不再有效。

換句話說,”有限樣本”屬性全部消失。

我們只剩下訴諸漸近有效推斷的選項,我們將不得不做出其他假設。

嚴格外生性 不能被“輕易忽略”。

我不確定我是否理解這一點。難道不是假設均值不是回歸函數的函數就等於假設均方差嗎?
@Batman您指的是我的帖子的哪一部分?
當您說“如果在回歸中包含一個常數項,將會吸收誤差項的可能非零的條件均值,如果我們假設該條件均值已經是常數而不是回歸函數的話。這是至關重要的假設必須獨立於我們是否包含一個常數項而做出。” 是否不假設條件均值不是回歸函數的函數,而正是我們假設同質性時所假設的?
@Batman同方差是關於方差的假設。假設均值獨立並不意味著$ E(u ^ 2_j \ mid \ mathbf x)$也是一個常數,這對於有條件的同方性也是必需的。實際上,均值獨立性$ E(u \ mid x)= const。$和條件異方差$ E(u ^ 2 \ mid x)= g(x)$是標準模型變體。


該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...