我很高興參加RStudio著名的Hadley Wickham博士的演講。他這樣定義

• 大數據：無法容納在一台計算機上的內存：> 1 TB
• 中型數據：可以容納在服務器的內存中：10 GB -1 TB
• 小數據：適合筆記本電腦的內存：< 10 GB

Hadley還認為，大多數數據至少可以減少為可管理的問題，並且實際上只有很少量是真正的大數據。他將其稱為“大數據幻影”。

• 90％可以通過子集/採樣/匯總減少為中小型數據問題
• 9％可以減少為大量的小數據問題
• 1％不可避免地大

可以在此處找到幻燈片。

如果數據集/流滿足所有四個V

• Volume
• Velocity
，則稱為大數據
• 準確性
• 多樣性

除非直到滿足，否則數據集不能稱為大數據。

我的類似回答，以供參考。

作為數據科學家，我曾說過；我發現Map-Reduce框架真的很棒。拆分數據，對其進行映射，然後將映射器步驟的結果簡化為單個結果。我發現這個框架真的很有趣，它如何使數據世界受益。

以下是我在日常工作中處理數據問題的一些方式：

1. 列式數據庫 ：這對數據科學家來說是一個福音。我使用 Aws Red Shift作為列式數據存儲。它有助於執行複雜的SQL查詢，並且減輕了麻煩。我覺得這真的很好，特別是當我的成長團隊問一些非常複雜的問題時，我不需要說“是的，跑了一個查詢；我們一天之內就可以解決！”
2. Spark和Map Reduce框架：上面已經說明了原因。
ol>

這就是進行數據實驗的方式：

• 已確定要解決的問題
• 現在列出了可能的數據源。
• 管道設計用於將數據從本地數據庫導入Redshift。是的，Spark來到這裡。在數據庫的-> S3-> Redshift數據移動過程中確實很方便。
• 然後，對Redshift中的數據進行查詢和SQL分析。

是的，有大數據算法，例如超級日誌等。但我沒有發現需要使用它們。

是的。在生成假設之前，首先要收集數據。

我認為大數據的唯一有用定義是對有關特定現象的所有信息進行分類的數據。我的意思是，大數據不是收集感興趣的總體樣本並收集這些單位的度量，而是收集整個感興趣的總體度量。假設您對Amazon.com客戶感興趣。對於Amazon.com而言，收集有關所有客戶購買的信息是完全可行的，而不是僅跟踪某些用戶或僅跟踪某些交易。

在我看來，定義取決於客戶的內存大小。數據本身的實用性有限。按照該度量，給定足夠大的計算機，實際上沒有數據是大數據。在無限大的計算機的極端情況下，這種說法似乎可以簡化，但請考慮將我的消費級筆記本電腦與Google服務器進行比較的情況。顯然，嘗試篩查TB的數據時會遇到巨大的後勤問題，但是Google有足夠的資源來方便地完成該任務。更重要的是，計算機的大小不是數據的固有屬性，因此，純粹參考您所擁有的任何技術來定義數據就像是根據距離的長度來測量距離。

這種說法不只是形式主義。一旦具有足夠的計算能力，就不再需要復雜的並行化方案和分佈式計算平台。因此，如果我們接受大數據太大而無法放入RAM的定義（或使Excel崩潰或其他原因），然後在升級計算機之後，大數據將不復存在。 strong>這似乎很愚蠢。

但是讓我們看一些有關大數據的數據，我將其稱為“大元數據”。 博客文章觀察到一個重要趨勢：可用RAM的增長速度超過數據大小，並且挑釁性地宣稱“大RAM正在吞噬大數據”，也就是說，有了足夠的基礎架構，您將不再擁有一個大數據問題，您只有數據，然後又回到了常規分析方法的領域。

此外，不同的表示方法將具有不同的大小，因此，尚不十分清楚擁有“大數據”是根據其內存大小定義的。如果以存儲大量冗餘信息的方式構造數據（即，選擇效率低下的編碼），則可以輕鬆跨越計算機可以輕鬆處理的閾值。但是，為什麼要讓定義具有此屬性？在我看來，數據集是否為“大數據”不應該取決於您是否在研究設計中做出了有效的選擇。

從從業者的角度，我定義的大數據它還帶有計算要求，但是這些要求是特定於應用程序的。通過$ 10 ^ 4 $觀察的數據庫設計（軟件，硬件，組織）思考與$ 10 ^ 7 $觀察的思考有很大不同，這完全可以。這也意味著，按照我的定義，大數據可能不需要我們在經典統計中開發的專業技術：當您需要推斷時，樣本和置信區間仍然是非常有用和有效的推論工具。線性模型可以為某些問題提供完全可接受的答案。但是我定義的大數據可能需要新穎的技術。在預測因素多於訓練數據的情況下，或者預測因素隨數據大小增長的情況下，可能需要對新數據進行分類。這些問題將需要更新的技術。

順便說一句，我認為這個問題很重要，因為它隱含地提到了為什麼定義很重要-也就是說，您要為誰定義主題。對一年級生加法的討論並非從集合論開始，而是從對物理對象計數開始。根據我的經驗，“大數據”一詞的大多數用法都出現在大眾媒體或非統計或機器學習專家（例如，營銷材料請專業分析）之間的人之間的交流中，表示現代計算機實踐意味著存在大量可以利用的可用信息的想法。這幾乎總是在數據洩露的情況下進行，該數據揭示了有關消費者的信息，即使不是私人信息，也可能不會立即顯現。關於零售連鎖店向其評估的人們直接郵寄郵件的軼事是根據最近的購買情況而定的準媽媽，這就是典型的例子。

因此，圍繞“大數據”的常用用法的內涵和分析也帶有這樣的思想，即只要應用了足夠的推論方法，數據就可以揭示一個人生活的晦澀，隱藏甚至私人的細節。當媒體報導大數據時，匿名性的惡化通常是他們所要驅動的-從這個角度來看，定義“大數據”似乎有些誤導，因為大眾媒體和非專業人士都不關心隨機性的優缺點。森林和支持向量機等，它們也不了解不同規模的數據分析的挑戰。 這很好。從他們的角度出發，關注點集中在信息時代的社會，政治和法律後果上。對媒體或非專業人士的準確定義實際上並沒有用，因為他們的理解也不准確。 （不要以為我自鳴得意-我只是觀察到並不是每個人都可以成為一切方面的專家。）

對大數據的大量文獻進行交叉檢查，我收集了多達14個“ V”項，其中13個沿11個維度： >

• 有效性，
• 值，
• 變量/方差，
• 變量，
• 速度，
• 真實性/活力，
• 可行性，
• 虛擬性，
• 可視化，
• 波動性，
• 音量。

第14個術語是“真空度”。根據最近的一個挑釁性帖子，大數據不存在。其主要觀點是：

• “大數據”並不大
• 大多數“大數據”實際上並沒有用
• [我們應該是]充分利用小數據

對大數據的正確定義將隨著硬件，軟件，需求和知識而發展，並且可能不應該依賴於固定大小。因此，大數據的可定義：創新，競爭和生產力的下一個前沿，2011年6月：

“大數據”是指大小為超出了典型數據庫軟件工具的捕獲，存儲，管理和分析能力。

人們似乎對大數據中的 big 限定詞感興趣。但是，大小只是該術語（域）的組成部分之一。僅數據集 big 不足以將問題（域）稱為大數據，這還不夠，您還需要難以理解，分析甚至處理。有人稱此功能為 unstructured ，但不僅僅是結構，而且數據的不同部分和元素之間的關係也不清楚。

考慮高能物理學家在諸如 CERN之類的地方工作的數據集。在 Big Data 術語誕生之前，他們已經使用了PB大小的數據。但就目前而言，據我所知，他們並未稱其為大數據。為什麼？因為數據是相當規則的，所以他們知道該怎麼做。他們可能還無法解釋所有觀察結果，因此他們可以使用新模型等。

現在，我們稱大數據為處理數據集的問題，這些數據集的大小可能會在CERN的LHC中在幾秒鐘內生成。原因是這些數據集通常是來自多個格式不同的數據源的數據元素，這些數據之間的關係不清楚，並且對業務的價值不確定。它可能只有1TB，但是要處理所有音頻，視頻，文本，語音等非常困難。因此，就複雜性和所需資源而言，這比CERN數據的PB級要重要。我們甚至不知道我們的數據集中是否存在可辨別的有用信息。

因此，大數據問題的解決涉及解析，提取未知值的數據元素，然後將它們彼此鏈接。單獨“解析”圖像可能是個大問題。假設您正在尋找城市街道上的閉路電視錄像，以查看人們是否越來越憤怒，是否會影響涉及行人的道路交通事故。有大量視頻，您可以找到面孔，嘗試通過表情來衡量他們的情緒，然後將其鏈接到事故數據集，警察報告等的數量，同時控制天氣（沉澱，溫度）和交通擁堵。您需要支持這些不同類型的大型數據集的存儲和分析工具，並且可以有效地將數據相互鏈接。

大數據是一個複雜的分析問題，其複雜性源於其龐大的規模以及其中結構和信息編碼的複雜性。

我認為人們對大數據感到困惑的原因是他們沒有看到它的好處。大數據（技術）的價值不僅在於您可以收集的數據量，還在於預測建模，而最終更重要的是：

1. 預測建模徹底改變了我們進行統計和預測的方式，它使我們對數據有了更深入的了解，因為新模型，新技術可以更好地檢測趨勢，數據噪聲，並且可以捕獲“多維”數據庫。數據庫中的維數越多，創建好模型的機會就越大。預測建模是大數據價值的核心。
2. 大數據（就數據大小而言）是初步步驟，可以通過以下方式為預測建模服務：關於以下方面的數據庫：1.預測變量數量（更多變量），​​2.觀察值數量。
ol>

更多預測變量，因為我們現在能夠捕獲以前無法捕獲的數據（由於有限的硬件能力，處理非結構化數據的能力有限）。更多的預測變量意味著有更多的機會擁有重要的預測變量，即可以為業務做出更好的模型，更好的預測，更好的決策。該模型學習/檢測現實中可以呈現/生成的所有可能模式。

關於大數據與其反義詞（大概是小數據）的棘手之處在於它是一個連續體。大數據人走到了頻譜的一側，小數據人走到了另一側，但是沒有人人都能同意的明確界限。

我將研究行為差異兩者之間。在小數據情況下，您有一個“小”數據集，並且您希望盡可能多地壓縮每個數據點的信息。獲取更多數據，可以獲得更多結果。但是，獲取更多數據可能會很昂貴。人們收集的數據通常受約束以適合數學模型，例如進行部分因子測試以篩選有趣的行為。

在大數據情況下，您有一個“大”數據集，但您的數據集傾向於不受限制。通常，您不會說服您的客戶購買拉丁廣場的家具，只是為了使分析更加容易。取而代之的是，您往往會遇到數據結構混亂的數據。為了解決這些問題，目標往往不是“選擇最佳數據，並從中提取所有可能的數據”，就像如果習慣於處理小數據時可能會天真地嘗試那樣。我們的目標往往是“如果從每個數據點中獲取一個微小的smidgen，總和將是巨大而深遠的。”

在它們之間是中等大小的數據集，結構還可以。這些是“非常棘手的問題”，因此，我們現在傾向於將其分為兩個陣營：一個陣營中有小數據擠占了它的最後一點，而另一個陣營中有大數據試圖設法讓每個數據點都閃耀自己對。隨著我們的前進，我希望看到更多的小數據流程試圖適應更大的數據集，並且更多的大數據流程試圖適應利用更多的結構化數據。

我要說的是，定義大數據時必須包含三個要素：分析方向，相對於總體的數據大小以及相對於計算問題的數據大小。

該問題本身提出假設是在數據存在後發展起來的。我不使用“收集的”，因為認為“收集的”一詞是出於某個目的，而數據通常在當時尚不存在。收集通常是通過將現有數據匯集在一起以解決問題而在大數據中進行的。

第二個重要部分是，事後分析（即所謂的具有較小數據集的探索性分析）不僅僅適用於任何數據。它的大小必須足以使人們相信，從中收集的估計值與總體估計值足夠接近，可以忽略許多較小的樣本問題。因此，我有點擔心該領域目前正在推動多種比較校正。如果您擁有全部人口，或者您有充分的理由相信這是有效的近似值，那麼這種修正就沒有意義了。雖然我意識到確實確實發生過，有時確實出現了一些問題，這些問題的確確實將“大數據”變成了一個小樣本（例如，大的邏輯回歸），但最終導致理解特定問題的大樣本。相反，應將多個比較問題中的許多問題轉為效果大小問題。而且，當然，您將要使用alpha = 0.05進行測試的整個想法，就像許多大數據一樣，都是荒謬的。

最後，人口稀少沒有資格。在某些情況下，人口很少，因此可以很容易地收集檢查數據所需的所有數據，並滿足前兩個條件。數據的大小必須足以使其成為計算問題。因此，在某些方面，我們必須承認“大數據”可能是一個短暫的流行語，也許是永久地尋求嚴格定義的現象。現在，使“大數據”變得龐大的某些事情將在短短幾年內消失，基於計算機容量的哈德利（Hadley's）定義似乎古樸。但是，從另一個角度來看，計算問題是與計算機容量無關的問題，或者與永遠無法解決的計算機容量無關的問題。我認為從這個意義上講，定義“大數據”的問題將在將來繼續存在。 （comp sci中通常有很多示例，有些是適用的，我將不討論）。我不想做任何事情，因為我認為這必須保持開放。隨著時間的流逝，許多人的作品匯集在一起，使事情變得容易，這時更多的是通過軟件開發，而不是通過硬件。也許為了使這個最後的要求更牢固地界定，該領域將必須更加成熟，但是邊緣總是模糊的。

Wikipedia提供了非常明確的定義

大數據是數據集的廣義術語，其數據集太大或太複雜以至於傳統數據處理應用程序不足。 （來源 https://en.wikipedia.org/wiki/Big_data）

我知道的另一個簡單定義是

數據不適合計算機內存。

不幸的是，我不記得它的引用。所有其他一切都源於此定義-您必須以某種方式處理大量數據。

我要補充一點，大數據是指要么處理大數據集（數百萬和/或數十億行），要么嘗試查找有關您現在可以隨處收集的廣泛數據資源的信息/模式。