大數據的九個大教訓

來源：賽迪網

筆者近期參加了俄亥俄州立大學的“大數據未來研討會”。俄亥俄州正在與IBM公司合作在當地創建一個大數據中心，逐漸成爲該領域的一個重要學術力量。本次研討會匯聚了來自全國各地的專家和一名來自英國的專家，就該領域當前的成就、趨勢和話題進行一次卓有成效的探討。可以在會議官網和即將出版的《信息社會的法律和政策》雜誌（A Journal of Law and Policy for the Information Society）上了解更多詳情。

大數據和開放數據不是一回事，但他們有着密切的聯繫（正如我在主題發言稿“未來的大數據將會開放到什麼程度？”上寫到的）。我們正在關注的大數據一些趨勢和話題與開放數據也有關係。按照這樣的脈絡，就出爐了這篇我在去哥倫布的路上學到的《瞭解大數據的九件事》。

爲大數據的激烈反應做好準備。很多演講者提到了“大數據過分渲染宣傳”的話題，認爲大數據被討論得如此熱烈，以至於我們現在可以進入一個反應性的循環。 Mike Nelson對他在公開場合看到的逐漸出現的“垃圾數據”提出了責難，甚至建議我們應該重新命名大數據，它可以有一個“大兄弟”–就像很多人一樣。他建議改名爲：BFFMUDD，是大（Big）、肥（Fat）、快（Fast）、亂（Messy）、非結構化（Unstructured）、分佈式數據（Distributed Data）的縮寫。

意識到“大數據的狂妄自大”。好幾位演講者引用了一份新報告，報告顯示，“Google流感趨勢”–大數據預測價值的首批大範例之一–被證明非常不準確。顯然，Google可能自作聰明地以一種錯誤的方式調整了其算法。不管什麼樣的錯誤，這都是個教訓，表明如果不着眼於更廣闊的圖景，而只是試圖通過碾碎數據來發現真相，通常情況下無法獲得預期效果。

數據不能代替判斷。數據，尤其大數據是可以幫助人類做出決策的工具，但不能起到代替的作用。Ray Harishankar是這樣說的：“數據加上分析是信息，信息加上語境可以提供洞察力，洞察力必定能導向正確的行動，正確的行動則帶來提升價值的結果”。

相關關係不能強過理論。一些大數據的倡導者認爲大數據幾乎讓理論變得多餘：他們說，有了足夠的數據，即使沒有理論說明其原因，我們也可以發現很多重要和有益的模式和趨勢。確實，簡單的相關關係在一定程度上就可以驅動精確的預測。但即便是具備預測分析的能力，也並不意味着你就能真正地理解你正在研習的系統是如何運行的。Eytan Adar建議我們審視大數據範圍從預測性到解釋性的所有相關努力，並且更多地關注如何理解我們所看到的東西，而不是僅僅關注可預測未來的模式。

大數據正在-冒着風險–追蹤一個“移動” 社會。在全球範圍，移動設備都已經成爲人類的首選在線連接工具。Farnam Jahanian指出到2015年全球移動設備的數量將是人口數量的兩倍，所有的設備都可以發送位置信息和其它數據給能夠收集這些數據的公司。這將成爲未來社會大數據的主要來源之一。但KateCrawford?指出了這裏的隱私風險：由於人類移動行爲模式的獨特性，你可以僅用3-4個手機生成的數據點就能識別一個人。

大數據能幫助–或者損害城市的民主體制。正如Harvey Miller所說，通過手機數據、遠程環境感應器、激光生成的航空地圖和更多工具來追蹤城市活動的能力，可以給我們創造擁有更高代謝功能的超級協調城市。但是，Kate Crawford在這裏再次提出了警告。如果我們不小心，城市數據收集就會不對稱地幫助富人而傷害窮人。比如，波士頓的Street Bump APP應用通過追蹤智能手機的擺動狀態來收集坑窪裏的數據，用志願者的數據來反映一條道路的顛簸不平。但大多數智能手機的擁有者都屬於生活富裕的人羣，以至於最初是在更富有的地區監測和修復坑窪–這是Street Bump目前正在致力於修正的難題。在相反的另一面，“預測監控”正在被用於將警察管制實施於預測將會有高犯罪率的地區，這將導致歧視性的執法。

隱私仍然事關要緊。忘掉那些宣稱公衆，尤其是年輕人已經放棄隱私的報告吧。我們仍然關心隱私問題，只是不知道該怎麼做。這裏有兩個考慮因素：我們想知道政府機構或數據跟蹤公司收集到了哪些關於我們的數據信息，以及如果我們不喜歡，則想讓他們停止收集。關於如何解決這些考慮因素還不是很清晰。會上的一些發言者建議採用簡單的解決方案：讓政府和公司對它們正在收集的數據更公開透明，這是一些人稱之爲“互相確認的公開”的方法。但是一個長期的透明度倡導者Gary Bass說，這個建議的解決方案“不是真實的世界。在過去的30年裏，我拼命地鬥爭讓數據變得可獲取，而政府和公司則拼命地讓數據不可獲取……這是一場曠日持久的鬥爭”。正如其他人所說，這裏的風險在於我們可能增強了數據收集者和被收集者之間的力量不對稱性。

大數據應當展現數據之美。數據可視化方面的迅速進步正在創造一些美輪美奐的效果。比如，看一看這部“體驗自行車人流”的視頻，逐漸解析倫敦自行車交通的數據，展示俄亥俄州超級計算機中心最清晰的模式和部分已經完成的可視化作品。類似這樣的數據可視化並不僅僅關乎美學，而是與理解息息相關。IBM公司的一位數據可視化專家AngelaShen-Hsieh談到人們需要使數據更加“適合人類消費”，以及關注從計算機屏幕到人腦的信息傳遞旅程中的“最後18英寸”。

大數據將（很有可能）產生大價值。拋開所有的警告不管，大數據中有很多社會價值和經濟價值可以發掘。麥肯錫幾年前一份具有裏程碑意義的大數據報告預測它將撬動數萬億美元的經濟價值。這項研究的聯合作者，微軟公司的Angela Byers?今天說到，也許仍需要5-10年時間才能產生這樣的價值，部分原因是我們仍然面臨一個重要的技能鴻溝：即可獲得的數據數量和清楚如何利用這些數據的人的數量之間存在的差距。但是經濟價值正在逐步顯現，並且以某種令人驚異的方式呈現。Johan Bollen和他的團隊成員運用Twitter上的大數據情感分析來預測股票市場：他們計算Twitter上的“鎮靜”情緒來預測道瓊斯指數三天後的收盤點位。