《大數(shù)據(jù)時代：生活、工作與思維的大變革》是被譽為“大數(shù)據(jù)時代的預(yù)言家”的牛津大學(xué)教授維克托.邁克-舍恩伯格所寫的一本經(jīng)典大數(shù)據(jù)書籍，2013年筆者首讀此書，豁然開朗，其中很多的觀點振聾發(fā)聵，如果你還沒讀過此書，建議你可以讀一下。

一晃三年過去，筆者對于大數(shù)據(jù)也有了一些新的認識， 無論是所謂的大數(shù)據(jù)帶來了思維方式上的變革，還是技術(shù)上的革命，或者商業(yè)模式或管理模式的改變，但從本質(zhì)的角度講，大數(shù)據(jù)還沒有達到所謂的高度，即大數(shù)據(jù)時代，其與信息時代的計算機、集成電路、光纖通信，互聯(lián)網(wǎng)相比，目前還無法媲美，衡量大數(shù)據(jù)成功的標志，是是否推動了國家的人均信息消費水平達到一個新的高度(此句摘自李國杰院士)。

對于《大數(shù)據(jù)時代》此書提的很多觀點應(yīng)該用辯證的方法來看待，以下筆者就一些認識上的一些爭議給出自己的理解，注意，后面有彩蛋，一定要看完哦：

“不是隨機樣本，而是全體數(shù)據(jù)”，實際大多并不是這樣

作者表達了一個觀點，“當數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生了翻天覆地的變化時，在大數(shù)據(jù)時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本=總體””。

這種說法表明了一種新的認知世界的方式，是一種新的趨勢，努力達到全量的確可以讓我們抓到了更多的細節(jié)，讓我們擺脫傳統(tǒng)統(tǒng)計分析學(xué)的束縛，就好比以前預(yù)測美國總統(tǒng)大選，采用的是民意抽樣統(tǒng)計，而如今已經(jīng)可以對于社區(qū)用戶所有言論的判斷來更精準的預(yù)測。

但是，現(xiàn)實世界很殘酷，大多數(shù)領(lǐng)域你其實無法拿到全量的數(shù)據(jù)，或者，如果你要拿到全量的數(shù)據(jù)，代價極其巨大，因此，大多數(shù)時候，我們用的大數(shù)據(jù)仍是局部的小數(shù)據(jù)，沒有所謂“樣本=總體”的條件，傳統(tǒng)的以抽樣來理解這個世界的方式仍然有效，機器學(xué)習(xí)與統(tǒng)計學(xué)作為一種認知世界的方法也將持續(xù)有效，前期的AlphaGo與李世石的人機大戰(zhàn)。AlphaGo只能用采樣的方式獲得有限的棋局進行深度學(xué)習(xí)就是例證，因為你不可能拿到全部的樣本或者甚至是足夠的樣本，因為這個數(shù)量比全宇宙的原子還多。

當然，對于國際象棋和中國象棋上，全量的數(shù)據(jù)已經(jīng)使得傳統(tǒng)勝負的玄妙缺失了意義，因此，可以這么大膽推測，當某個領(lǐng)域具備“樣本=總體”的時候，就是該領(lǐng)域被大數(shù)據(jù)替換的時刻。

“不是精確性，而是混雜性”，沒能力但不能否定精確性的價值

作者表達了這樣一個觀點，執(zhí)迷于精確性是信息時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶，大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效。

傳統(tǒng)數(shù)據(jù)處理追求“精確度”，這種思維方式適用于掌握“小數(shù)據(jù)量”的情況，因為需要分析的數(shù)據(jù)很少，所以我們必須盡可能精準地量化我們的記錄。大數(shù)據(jù)紛繁多樣，優(yōu)劣摻雜，分布廣泛。擁有了大數(shù)據(jù)， 我們不再需要對一個現(xiàn)象刨根究底，只要掌握大體的發(fā)展方向即可,適當忽略微觀層面上的精確度會讓我們在宏觀層面擁有更好的洞察力。

這段話說得沒錯，但我認為大數(shù)據(jù)的復(fù)雜算法對于認識這個世界更為重要，對于精準性的把握始終是我們的目標，只是因為我們現(xiàn)在的算法太弱了，無法駕馭大數(shù)據(jù)，才提簡單的算法。

比如，在工業(yè)界一直有個很流行的觀點：在大數(shù)據(jù)條件下，簡單的機器學(xué)習(xí)模型會比復(fù)雜模型更加有效。例如，在很多的大數(shù)據(jù)應(yīng)用中，最簡單的線性模型得到大量使用。而最近深度學(xué)習(xí)的驚人進展，促使我們也許到了要重新思考這個觀點的時候。簡而言之，在大數(shù)據(jù)情況下，也許只有比較復(fù)雜的模型，或者說表達能力強的模型，才能充分發(fā)掘海量數(shù)據(jù)中蘊藏的豐富信息。運用更強大的深度模型，也許我們能從大數(shù)據(jù)中發(fā)掘出更多有價值的信息和知識。

為了理解為什么大數(shù)據(jù)需要深度模型，先舉一個例子。語音識別已經(jīng)是一個大數(shù)據(jù)的機器學(xué)習(xí)問題，在其聲學(xué)建模部分，通常面臨的是十億到千億級別的訓(xùn)練樣本。在Google的一個語音識別實驗中，發(fā)現(xiàn)訓(xùn)練后的DNN對訓(xùn)練樣本和測試樣本的預(yù)測誤差基本相當。這是非常違反常識的，因為通常模型在訓(xùn)練樣本上的預(yù)測誤差會顯著小于測試樣本。因此，只有一個解釋，就是由于大數(shù)據(jù)里含有豐富的信息維度，即便是DNN這樣的高容量復(fù)雜模型也是處于欠擬合的狀態(tài)，更不必說傳統(tǒng)的GMM聲學(xué)模型了。所以從這個例子中我們看出，大數(shù)據(jù)需要復(fù)雜深度學(xué)習(xí)，毫無疑問AlphGo也必定是欠擬合的。

“不是因果關(guān)系，而是相關(guān)關(guān)系”，追求真理是我們永恒的目標

作者提出了這樣一個觀點，尋找因果關(guān)系是人類長久以來的習(xí)慣。即使確定因果關(guān)系很困難而且用途不大，人類還是習(xí)慣性地尋找緣由。在大數(shù)據(jù)時代，我們無須再緊盯事物之間的因果關(guān)系，不再把分析建立在早已設(shè)立的假設(shè)的基礎(chǔ)之上。而應(yīng)該尋找事物之間的相關(guān)關(guān)系，讓大數(shù)據(jù)告訴我們“是什么”而不是“為什么”。

一方面，應(yīng)該承認基于大數(shù)據(jù)的相關(guān)關(guān)系是我們認識世界和改造世界的新的方式，從應(yīng)用科學(xué)的角度講，降低對于因果關(guān)系的追求可以讓大數(shù)據(jù)創(chuàng)造更大的價值。

另一方面，當前階段由于我們對于世界的認知太少，人類在有限的時間內(nèi)不可能找到“終極真理”，大量的規(guī)律通過大數(shù)據(jù)暴露出了蛛絲馬跡，即所謂的相關(guān)關(guān)系，但其本質(zhì)上仍是因果關(guān)系的體現(xiàn)，因此兩者并不沖突。一個解決當前問題，是近，一個解決長期問題，是遠，兩者相輔相成，無所謂誰替代誰。從社會角度來講，企業(yè)可以致力于大數(shù)據(jù)相關(guān)關(guān)系來創(chuàng)造更多的商機，而因果關(guān)系仍然是基礎(chǔ)研究需要追求的東西，不能說人類物質(zhì)上滿足了，就不去追求更為本原的東西。

同時，大數(shù)據(jù)方法也可以發(fā)現(xiàn)因果關(guān)系，2014年，美國國防高級研究計劃局啟動其“大機理”項目。目的是發(fā)展可以發(fā)現(xiàn)隱藏在大數(shù)據(jù)中因果模型。典型“大機理”例子就是，1854年的倫敦地圖顯示爆發(fā)霍亂和污染的公共水泵之間的聯(lián)系。該發(fā)現(xiàn)推翻了當時認為疾病是通過空氣傳播的認識。大機理包含在巨大的、零碎的、有時相互矛盾的文獻和數(shù)據(jù)庫中，所以，沒有任何一個人可以理解該如此復(fù)雜的系統(tǒng)，所以必須依靠計算機。

DARPA辦公室最初使用“大機理”工具來研究導(dǎo)致細胞癌變的復(fù)雜分子之間的相互作用。該方法包括使用電腦掃描癌癥類論文，來獲取癌癥路徑的有關(guān)數(shù)據(jù)。獲取的數(shù)據(jù)片段可以組成”前所未有規(guī)模和精度”的完整路徑，以此來確定傳遞路徑如何互動。最后，自動工具可以幫助確定因果關(guān)系，該因果關(guān)系可用來開發(fā)潛在治療癌癥的方法。科恩說：“分子生物學(xué)和癌癥文獻強調(diào)機理，論文描述蛋白質(zhì)如何影響其它蛋白質(zhì)的表達，這些影響如何產(chǎn)生生物效果。電腦應(yīng)該可以被用來分析這些癌癥類論文中的因果關(guān)系。”通過強調(diào)因果模型和解釋，大機理將成為科學(xué)的未來。

“小數(shù)據(jù)的問題，大數(shù)據(jù)就能解決”，大數(shù)據(jù)并沒有解決小數(shù)據(jù)問題

大數(shù)據(jù)體現(xiàn)了4V特征，但我們現(xiàn)在碰到的數(shù)據(jù)仍是主要是小數(shù)據(jù)，我們應(yīng)該抱著務(wù)實的態(tài)度去解決小數(shù)據(jù)的問題，小數(shù)據(jù)的問題并不會由于大數(shù)據(jù)的產(chǎn)生而自動解決。

統(tǒng)計學(xué)家們花了200多年，總結(jié)出認知數(shù)據(jù)過程中的種種陷阱，這些陷阱并沒有被填平，比如采樣，大數(shù)據(jù)中有大量的小數(shù)據(jù)問題，這些問題不會隨著數(shù)據(jù)量的增大而消失，要注意數(shù)據(jù)(樣本)的偏差，比如Google的流感預(yù)測為什么近3年失敗，因為其隨機性實際不夠，比如媒體對于流感流行的報道會增加與流感相關(guān)的詞匯的搜索次數(shù)，進而影響Google的預(yù)測，對谷歌大肆炒作的流感跟蹤系統(tǒng)的研究結(jié)果發(fā)現(xiàn)，該系統(tǒng)多年來一直高估美國的流感病例。這項失敗凸顯了依賴大數(shù)據(jù)技術(shù)的危險性。

“谷歌在2008年推出的流感趨勢系統(tǒng)監(jiān)測全美的網(wǎng)絡(luò)搜索，尋找與流感相關(guān)的詞語，比如“咳嗽”和“發(fā)燒”等。它利用這些搜索來提前9個星期預(yù)測可能與流感相關(guān)的就醫(yī)量。在過去3年，該系統(tǒng)一直高估與流感相關(guān)的就醫(yī)量，在這類數(shù)據(jù)最有用的流感季節(jié)高峰期尤其預(yù)測不準確。在2012/2013流感季節(jié)，它預(yù)測的就醫(yī)量是美國疾控中心(CDC)最終記錄結(jié)果的兩倍;在2011/2012流感季節(jié)，它高估了逾50%。”

發(fā)人深省的彩蛋觀點，關(guān)于啤酒和尿布有點雷

(1)數(shù)據(jù)化，而不是數(shù)字化

所謂的數(shù)字化指的是把模擬數(shù)據(jù)轉(zhuǎn)換成用0和1表示的二進制碼，而數(shù)據(jù)化是指把現(xiàn)象轉(zhuǎn)變成可制表分析的量化形式的過程，舉個例子，我們掃描實體書成為電子書，如果保存形式是圖片，這個只能叫作數(shù)字化，而我們通過字符識別軟件進行了文本解析，圖像就變成了數(shù)據(jù)化文本，兩者有本質(zhì)的不同，萬物只有數(shù)據(jù)化后，才可以被量化，我們才能通過量化后的數(shù)據(jù)創(chuàng)造更多的價值。美國政府在提數(shù)據(jù)開放的時候，強調(diào)了開放的數(shù)據(jù)必須是可以有機讀的，就是這個意思，一個PDF的信息量跟一個WORD的信息量顯然是不一樣的。

(2)應(yīng)用為王，不要迷信技術(shù)

目前各類企業(yè)都在建設(shè)大數(shù)據(jù)中心，但成本其實很大，當前的新的信息技術(shù)層出不窮，不斷冒出新概念，新名詞，大數(shù)據(jù)技術(shù)其實還在不停的發(fā)展，現(xiàn)階段，應(yīng)該充分考慮成本因素，抱著應(yīng)用為先的態(tài)度，技術(shù)始終要為應(yīng)用服務(wù)，我們應(yīng)該致力于用技術(shù)解決業(yè)務(wù)問題，而不是被潮流技術(shù)牽著鼻子走。不用迷信Google等技術(shù)公司的創(chuàng)新,有的放矢的借鑒，BAT做得足夠好，不要去貶低這些公司的技術(shù)創(chuàng)新性，不要用Google的AlphGo去鄙視百度的人工智能，應(yīng)用始終為王，百度發(fā)明的人工智能輸入實際應(yīng)用意義可能遠大于AlphaGo。

(3)隱私問題，不是那么簡單

告知與許可也許已經(jīng)是世界各地執(zhí)行隱私政策的基本法則，但這個法則有問題，大數(shù)據(jù)時代，很多數(shù)據(jù)在收集時并無意用于其它用途，但最終往往是二次開發(fā)利用創(chuàng)造了價值，公司無法告知用戶尚未想到的用途，而個人也無法同意這種尚是未知的用途。如果谷歌要使用檢測詞預(yù)測流感的話，必須征得數(shù)億用戶的同意，就算沒有技術(shù)障礙，有哪個公司能負擔得起。

同樣，所謂的匿名化在小數(shù)據(jù)時代的確可以，但是隨著數(shù)據(jù)量和種類的增多，大數(shù)據(jù)促進了數(shù)據(jù)內(nèi)容的交叉檢驗。

政府在未來制定相關(guān)法規(guī)的時候，應(yīng)該充分尊重事實，也許提前預(yù)防永遠無法解決大數(shù)據(jù)應(yīng)用和隱私問題。

(4)大數(shù)據(jù)的驅(qū)動效應(yīng)

大家所說的大數(shù)據(jù)是沙里淘金，大海撈針，導(dǎo)致人們總是渴望從大數(shù)據(jù)挖掘出意想不到的“價值”。實際上大數(shù)據(jù)更大的價值是帶動有關(guān)的科研和產(chǎn)業(yè)，提高個行業(yè)通過數(shù)據(jù)分析解決困難問題和增值的能力，大數(shù)據(jù)價值體現(xiàn)在它的驅(qū)動效益。

所謂的“啤酒與尿布”的數(shù)據(jù)挖掘經(jīng)典案例，其實是Teradata公司的一位經(jīng)理編造出來的“故事”，歷史上并沒有發(fā)生過，這個天雷滾滾啊。

馮.諾依曼指出：“在每一門學(xué)科中，當通過研究那些與終極目標相比頗為樸實的問題，發(fā)展出一些可以不斷加以推廣的方法時，這門學(xué)科就得到了巨大的進展。”在發(fā)展大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)中，不應(yīng)天天期盼奇跡出現(xiàn)，而應(yīng)扎實多做“頗為樸實”的事，培育數(shù)據(jù)文化，打造大數(shù)據(jù)應(yīng)用環(huán)境，提高決策合理性，開拓新的數(shù)據(jù)應(yīng)用。

深有感觸，大數(shù)據(jù)推動了企業(yè)的數(shù)據(jù)文化，大家對于數(shù)據(jù)有了新的認識和充分的尊重，即使我們在用得大多仍然是小數(shù)據(jù)，那又如何，只要我們的心中的數(shù)據(jù)已經(jīng)足夠大。