題:
最難掌握的統計概念是什麼？
probabilityislogic
2011-01-27 09:57:02 UTC
view on stackexchange narkive permalink

這是一個與此處此處相似的問題，但我認為值得提出的差異足夠大。

我以為我是一個入門者，最難把握的之一是。

礦井是概率和頻率之間的差異。一個處於“對現實的了解”（概率）的級別，而另一個處於“現實本身”（頻率）的級別。如果我想得太多，這幾乎總是讓我感到困惑。還有其他難以把握的概念嗎？

（我不知道該怎麼回答，因此添加了評論。）我一直認為PI出現在統計方程中很奇怪。我的意思是-PI與統計有何關係？ :)
我同意（令我驚訝）-我認為在許多數學分析中都會出現$ \ pi $的現象。請注意，您可以使用Latex命令將$ \ pi $編寫為$符號內的$ \ text {\ pi} $。我使用Wiki頁面獲取語法http://en.wikibooks.org/wiki/LaTeX/Mathematics。另一個技巧是“右鍵單擊”在此站點上看到的方程式，然後選擇“顯示源代碼”以獲取所使用的命令。
@Wiki如果您接受從測量一條直線的長度到一條圓的長度時出現的$ \ pi $出現，我不明白為什麼從測量概率到倒下一段來衡量倒下一個圓的概率？
@Wiki每當您有三角函數（正弦，餘弦，正切等）時，都有冒出$ \ pi $的風險。請記住，每當派生一個函數時，您實際上都在尋找切線。令人驚訝的是$ \ pi $不會經常出現。
@Carlos我懷疑$ 2 \ pi $的普遍性主要是由於使用$ \ ell ^ 2 $度量標準，從而導致出現n個領域。同樣，我希望這是由於分析而引起的$ e $。
蒙蒂大廳有問題嗎？ :)
十二 答案:
shabbychef
2011-01-27 12:06:18 UTC
view on stackexchange narkive permalink

由於某些原因，人們很難理解p值的真正含義。

@shabbychef:大多數人都以最糟糕的方式來掌握它，即出現I型錯誤的可能性。
我認為這主要與如何在類中解釋p值有關（即：僅給出快速定義而未指定不是p值）
我認為這主要與它的引入方式有關。對我來說，這是經典假設檢驗的“附加”-因此，似乎它只是進行假設檢驗的另一種方法。另一個問題是，通常僅針對正態分佈進行講授，其中一切“都正常”（例如，p值*是檢驗正態平均值的證據度量）。對p值進行歸納並不容易，因為沒有具體的原則可以指導歸納（例如，對於p值應如何隨樣本數量和多重比較而變化沒有達成共識）
@shabbychef +1儘管學生經常會遇到p值的困難（這主要是因為測試中的概念比二進制決策過程要微妙得多，並且容易引起“求函數反轉”）。當您說“出於某種原因”時，您是不是很清楚人們為什麼會遇到困難？ PS：如果可以的話，我會嘗試在此站點上統計“成為​​最佳答案”和“談論p值”之間的關係:)。我什至還問自己，最難掌握的統計概念能否獲得最多的支持（如果很難掌握……:)）
@robin girard-根據您的評論最後一部分的精神，我喜歡一個報價，我從喜劇演員Bill Bailey那裡聽到：*我分析的東西太多……也許不夠？我喜歡的另一個（不是我的，而不是Bill Bailey）：*我以前不確定，但現在不確定... * :)。看來p值必勝
如果零假設是“您的女朋友沒有和您最好的朋友一起欺騙您”，而您卻發現他們在黑暗的地方擁抱，擁抱和牽手，則p值“確實”很低。在這種情況下，除非她醜陋，否則p值可能仍然很高。我完全確定，即使是高中生也可以那樣理解p值。
@Eduardo-一個合理的替代假設：“您的女朋友沒有被強姦犯追趕到一個黑暗的地方，而您最好的朋友找到了她並讓強姦犯離開了”。如果您看到他們在那個黑暗的地方擁抱，擁抱和牽手，則與上述假設不一致（除非您最好的朋友或女友不願與人打交道）。因此它也將具有較小的p值
@probabilityislogic:好。至少我們倆都了解p值。
@Eduardo-我並沒有真正理解“醜陋”的說法。 “醜陋”的人發生性關係，對於某些人來說，“禁果是最甜的”的說法是正確的。另一件事是，您最好的朋友需要認為她的申請很醜，並且您不能確定這一點（除非您能讀懂他/她的想法）。
@probabilityislogic:我只是嘗試使用一個示例，即使是最受精神挑戰的高中生也可以理解。
@eduardo-我認為隨之而來的問題是數據不足以解決該問題。如果您將“擁抱，擁抱和牽手”的觀察方式替換為“走進最好的朋友和女友做愛”，那麼想出其他選擇將變得更加困難（儘管考慮過，但其他選擇可能是攻擊或勒索）
@probabilityislogic:這正在迅速擺脫話題。我們可能會在其他地方爭論。
@eduardo-我想說這個例子是不合時宜的，但比喻不是。這是因為您總是可以提出“誠實”的假設-也就是說，您可以說假設為“這些數據未更改為與其他假設一致”，從而獲得較小的p值。由於觀察您觀察到的特定數據的可能性始終很小，因此p值也將很小。因此，只有通過使用有關數據完整性的“先驗信息”，您才能消除這些假設。
我知道@probabilityislogic:。我從未聲稱p值將為零。但是足夠小的p值足以聲明“ Bullcrap！”。當您處於（1減去p值）時，請確保它們對您說謊。當然，“小”對您而言意味著多小是一個政策問題，而統計數據並不能解決這個問題。
@eduardo-是的，足夠小的p值足以引起對原假設的懷疑：但是它是在*完全隔離的情況下*計算得出的。單獨使用p值，您將永遠無法正式“拒絕” $ H_0 $，因為*未指定替代項*。如果您正式拒絕$ H_0 $，則還必須拒絕基於$ H_0 $為真的假設的計算，這意味著您必須拒絕在此假設下得出的p值的計算（與你的頭，但是這是*一致*的唯一推理方法。
@eduardo-在假設檢驗中使用p值類似於要求一組公理證明其自身一致性的邏輯情況。只是做不到。但是，您可以評估一個給定的*定理*，並找出哪些定理與該定理一致。 （公理=假設，定理=數據）
@probabilityislogic:再一次，我知道。如果原假設是錯誤的，則檢驗統計量是沒有意義的。
@Eduardo-但是，如果您考慮一下，假設我們由於p值較小而拒絕了原假設。一旦我們拒絕了空值；這意味著拒絕原假設的決定是基於*無意義的統計*。因此，這會使我們剛剛做出的拒絕無效！
@probabilityislogic:不，這不會使我們剛剛做出的拒絕無效。我們已經得出結論，原假設不能成立。 p值是沒有意義的，因為它是根據不正確的東西定義的。從嚴格的邏輯觀點來看，對原假設的拒絕（在p值不應該那麼低的前提下）只會迫使您提出另一個原假設，或者讓您對正在發生的事情一無所知。
我認為，@eduardo和我自己之間的上述討論清楚地表明了為什麼p值是概念上的噩夢。即使在一個看似顯而易見的例子中，它們似乎也不像我們認為的那樣。
@eduardo-因此，您會認為二階邏輯是謬誤的推理？因為那就是你的答案所暗示的。如果您拒絕*條件*（$ H_0 $是p值的條件），則必須拒絕基於這些條件的結論。公理也是如此：您不能同時拒絕公理，而要保留依賴於它的定理作為證明。
@probabilityislogic:就是您在這裡。 p值不是無效假設的_conclusion_，而是確定其可信度的_means。因此，如果p值太低，我可以說：“哈哈哈！
如果p值不是無效假設的結論，那麼為什麼p值會顯示為計算無效假設所需的條件之一。據推測，您的回答暗示p值可以在沒有原假設的情況下構建。而且，如果不參考空值的先驗概率，就無法確定空值的可信度。否則，您將同時相信不兼容的原假設（數據是假的，而數據不是假的則可以給出相同的p值）
@eduardo-假設您可能想到的每個null的* p *值（包括偽造數據）小於$ 10 ^ {-5} $，您相信什麼？
@probabilityislogic:如果要給測試起一個名字，設置測試的Alpha是一個“策略”問題。假設原假設為真，則p值可以是0到1之間的任何值，甚至是很小的值。因此，從嚴格的邏輯觀點出發，您不能（以演繹的方式）確定原假設是否為真。因此，冒著錯誤的風險，您確定p值不應低於alpha值，否則，您-不要相信原假設為真，無論它是否真的為真，您永遠不會知道。沒有悖論。
@Eduardo-但是，如果您不相信null為真，那麼您正在*好像* $ P（H_0）= 0 $。並且當這種情況發生時，基於$ H_0 $的條件概率為* undefined * $ P（T> T_ {obs} | H_0）= \ frac {P（T> T_ {obs}，H_0）} {0} $。通過將p值$ P（H_0）\乘以P（T> T_ {obs} | H_0）$的*先驗概率* $ H_0 $，分母中的$ P（H_0）$會被抵消，您將不再被零除，而您剩下的就是聯合概率。這是一種更合理的推理方法，因為您拒絕空值和數據作為組合。
@probabilityislogic:否。不相信原假設為空似乎是不合理的，並不意味著其行為就好像原假設的概率為零。它的意思是“可能是對的，但我不會再考慮這種可能性了。”請記住，在現實生活中，當我們沒有足夠的信息來使用嚴格的演繹方法時，我們會使用統計推斷來做出決策。
@Eduardo-但是否定原假設*確實*表示您的行為*好像是假的*。如果您使用p值作為推理的啟發式指南，那麼就沒有任何疑問了。但是，低p值本身*並不是直接針對無效值的證據*（[Bernardo and Rueda]（http://www.stat.duke.edu/research/conferences/valencia/IntStatRev.pdf ））。 [本文]（http://predictive.files.wordpress.com/2010/03/binder1.pdf）還顯示了p值的某些邏輯缺陷
@probabilityislogic:誰說統計推斷是一個邏輯過程？基本上，情況是這樣的：某人想了解某種分佈（通常是做決定），但是，他所擁有的只是從該分佈中提取的有限數據子集。 **從嚴格的邏輯觀點來看，他根本沒有足夠的信息來做任何事情。但是他仍然必須做點什麼。**因此，他引入了“前提”（例如，如果計算出p值，則該值不應低於alpha），以彌補他沒有的信息。 。
@Eduardo-我認為您很難說服某個人放棄邏輯是最好的選擇。當您沒有足夠的信息來執行演繹邏輯時，您只需從演繹邏輯轉換為演繹邏輯即可。當然，他必須做一些事情-但他所做的事情應該基於適當的測試統計數據而保持一致。當null為true或為false時，必須定義適當的測試統計信息。正如我之前的評論所示，p值不是。
@probabilityislogic:歸納“邏輯”根本不是邏輯。這只是（有時是受過教育的）猜測。對我們來說幸運的是，某種形式的歸納（例如統計推斷）“足夠可靠”，因此，獲得更多信息的好處使與歸納錯誤的可能性相關的風險被掩蓋了，即使它有些不確定。我們並不是在尋求完美的信息，而只是尋求做出正確決策的足夠信息。請記住，演繹和歸納都是工具。
@Eduardo-大多數統計推斷形式的問題在於它們難以一概而論，因為它們通常基於直覺而不是紮實的基礎。 p值就是這樣一個示例（如何調整多個比較，如何處理討厭的參數，p值所基於的統計信息的任意選擇）。如果沒有一組更廣泛的公理或desiderata來指導一般化，則p值基本上僅限於1個參數問題的領域，或存在關鍵量的地方。
-1
@Eduardo-但是，您如何調整p值以考慮到要進行的多個1參數比較？沒有指導您的原則，只有您的直覺。
-1
@Eduardo:我認為我們在這裡在不同層次上進行討論。 p值通常可以在模型中很好地指示參數的大小（例如OLS回歸）。這是因為它們基於足夠的統計信息，並且沒有令人討厭的參數（T檢驗）。但是一旦離開這個“安全”區域（例如非線性），p值不一定具有良好的屬性。僅因為趨勢易於計算，它們就可以用作指導。給定數據，計算空值的概率更有意義，因為我們知道我們看到了什麼數據，但不知道接受什麼假設
...繼續...為什麼我們要計算某個確定的概率（數據）？為什麼我們要以不確定的事物為條件（空值）？這在我看來一直是倒退的（儘管，如果用“數據”的概率我們實際上是指“未來數據”，那麼它會更有意義）。對我來說，對觀察到的內容進行條件化更有意義，因為一旦觀察到任何內容，您都無法“取消觀察”。
Charlie
2011-01-27 12:46:32 UTC
view on stackexchange narkive permalink

類似於shabbychef的回答，很難理解頻繁統計中置信區間的含義。我認為最大的障礙是置信區間無法回答我們想回答的問題。我們想知道，“真值在這個特定間隔內的機會是多少？”相反，我們只能回答“以這種方式創建的隨機選擇的間隔包含真實參數的機率是多少？”後者顯然不令人滿意。

我對置信區間的思考越多，我就越難以思考他們可以在概念層面回答什麼樣的問題，而這些問題無法通過要求“給定某個人的真實狀態，在區間內有一個真正的值來解決”知識”。如果我要問“（根據我的信息）有什麼機會（2010年的平均收入在10,000到50,000之間）？”我認為置信區間理論不能回答這個問題。
user2954
2011-01-28 05:29:07 UTC
view on stackexchange narkive permalink

“自由度”是什麼意思？不是整數的df怎麼樣？

dmk38
2011-01-30 06:05:35 UTC
view on stackexchange narkive permalink

有條件的概率很可能導致日常經驗中的大多數錯誤。當然，還有許多更難理解的概念需要掌握，但是人們通常不必擔心它們-他們無法擺脫&的想法是氾濫成災的根源。

+1;您能否添加一個或兩個示例，“收藏夾”或“當前”？
For starters: P(you have the disease|test is positive) != P(test is positive|you have the disease).
Harvey Motulsky
2011-01-27 19:29:57 UTC
view on stackexchange narkive permalink

我認為很少有科學家了解這一基本觀點：只有事先計劃好每個步驟，才有可能以面值解釋統計分析的結果。具體來說：

  • 必須提前選擇樣本大小。當添加更多主題時，不可以繼續分析數據，當結果看起來不錯時就停止。
  • 用於標準化數據或排除異常值的任何方法也必須事先確定。在找到滿意的結果之前，無法分析數據的各個子集。
  • 最後，當然，統計方法必須事先確定。通過參數和非參數方法分析數據並選擇所需的結果是否可行？

探索性方法對於探索非常有用。但是您就無法轉而運行常規的統計檢驗並以通常的方式解釋結果。

我認為John Tukey可能不同意http://en.wikipedia.org/wiki/Exploratory_data_analysis; o）
我會在這裡部分不同意。我認為人們想念的警告是*對於這些問題，適當的調節操作很容易忽略*。這些操作中的每一個都會更改推斷的條件，因此，它們也會更改其適用性的條件（並因此更改其一般性）。這些絕對僅適用於“確認分析”，其中已經定義了明確的模型和問題。在探索階段，不希望回答明確的問題-而是希望建立模型並提出數據假設。
我對答案做了一些修改，以考慮到Dikran和概率概率論的評論。謝謝。
對我而言，“排除異常值”並不像您的答案所暗示的那樣“錯誤”。例如，您可能只對某些響應範圍內的關係感興趣，而排除異常值實際上可以幫助這種分析。例如，如果要對“中產階級”收入建模，那麼排除超級富裕和貧困的離群值是個好主意。僅當您的評論適用時，才是您推斷框架內的異常值（例如“奇怪的”中產階級觀察值）
最終，最初答案中提出的問題的真正問題是它們（至少部分地）使p值無效。如果您有興趣量化觀察到的效果，則應該能夠不受懲罰地進行上述所有操作。
@drknexus-我不會說它們使每句話的p值無效，而是隱式地改變了基於它的原假設
@probablityislogic:同意。在實踐中，由於我們假設一個簡單的null值，並且控制實驗者做出的各種選擇的潛在概率可能是不確定的，我們是否有將轉換的p值轉換為標準參考框架的現實希望？我猜想這個任務的難點就是促使我稱他們為虛假的。
就樣本量而言：人們似乎很重視這種自適應採樣方法。因此，我想您不必總是預先選擇樣本量。
Dikran Marsupial
2011-01-27 23:57:12 UTC
view on stackexchange narkive permalink

舌頭緊緊貼在臉上：對於常客來說，貝葉斯概率的概念；對於貝葉斯主義者，頻率論是概率論。 ; o）

固然都有優點，但是如果您對另一個框架的把握過於堅定，那麼很難理解為什麼一個框架有趣/有用/有效。交叉驗證是一種好方法，因為提問和聽答案是學習的好方法。

我規則是我要記住：使用概率來預測頻率。一旦觀察到頻率，就可以使用它們來評估您分配的概率。不幸的是，您分配的*概率*通常等於您觀察到的*頻率*。我總是覺得奇怪的一件事是，為什麼“常客”甚至使用概率一詞？如果使用短語“事件的頻率”而不是“事件的概率”，是否會使他們的概念更容易理解？
有趣的是，交叉驗證可以看作是決策理論中損失函數積分的蒙特卡洛近似。您有一個整數$ \ int p（x）L（\ textbf {x} _ {n}，x）dx $，並用$ \ sum_ {i = 1} ^ {i = n} L（\ textbf {x} _ {[ni]}，x_i）$其中$ \ textbf {x} _ {n} $是數據向量，而$ \ textbf {x} _ {{ni]} $是帶有*的數據向量ith *觀察值$ x_i $已刪除
radek
2011-01-27 17:08:52 UTC
view on stackexchange narkive permalink

根據我的個人經驗，可能性的概念也可能引起很多轟動，尤其是對於非統計學家而言。正如維基百科所說，它經常與概率的概念混為一談，這並不完全正確。

onestop
2011-01-28 05:45:50 UTC
view on stackexchange narkive permalink

基準推斷 。甚至Fisher都承認他不了解它的作用，於是他發明了它。

mariana soffer
2011-01-27 13:51:34 UTC
view on stackexchange narkive permalink

除瞭如何使用之外，不同分佈的真正含義是什麼。

這是我在統計101之後發現最令人分心的問題。我會遇到許多分佈，除了與手頭主題相關的“屬性”外，沒有其他動機。花費了很長時間才能找出任何代表的東西。
最大熵“思考”是一種有助於理解分佈是什麼的方法，即知識狀態（或某種事物的不確定性的描述）。這是在所有情況下對我都有意義的唯一定義
Ben Bolker在[R中的生態模型和數據]（http://emdbolker.wikidot.com/）的“分佈範圍”部分中對此進行了很好的概述。
Peter Flom
2011-01-27 19:22:27 UTC
view on stackexchange narkive permalink

我認為這個問題可以用兩種方式解釋，這將給出截然不同的答案：

1）對於學習統計學的人們，尤其是相對高級的人們，最難掌握的概念是什麼？

2）大多數人會誤解哪個統計概念？

對於1）我根本不知道答案。也許是來自測度理論的東西？某種類型的整合？我不知道。

對於2）p值，請放手。

測度理論既不是統計學領域，也不是硬性的。某些類型的集成比較困難，但是，這又不是統計數據。
Shige
2011-01-28 17:07:15 UTC
view on stackexchange narkive permalink

非貝葉斯傳統中的置信區間是困難的。

Adam
2011-09-23 09:36:07 UTC
view on stackexchange narkive permalink

我認為人們在第一時間幾乎錯過了一切。我認為大多數學生不了解的是，他們通常是根據樣本估算參數。他們不知道樣本統計量和總體參數之間的區別。如果您將這些想法付諸實踐，那麼其他事情應該會容易一些。我敢肯定，大多數學生也不了解CLT的癥結所在。



ⓘ
該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到，我們感謝它分發的cc by-sa 2.0許可。
Loading...