大數據的緣起、衝擊及應對

來源：中國網

本文對大數據的概念、緣起與發展進行了分析，對大數據應用與研究狀況進行了梳理，並針對現有的衝擊與挑戰，提出了相應的對策與思考。

隨着物聯網、移動互聯網、智能便攜終端和雲計算技術的發展，人類社會進入了“大數據”時代。本文對大數據的概念、緣起與發展進行了分析，對大數據應用與研究狀況進行了梳理，並針對現有的衝擊與挑戰，提出了相應的對策與思考。

一、大數據的緣起：概念及其形成

（一）大數據概念的內涵和外延廣義

大數據概念，除了大數據技術及其應用之外，還包括大數據工程和大數據科學。大數據工程，是指大數據的規劃建設運營管理的系統工程。大數據科學，主要關注大數據網絡發展和運營過程中發現和驗證大數據的規律及其與自然和社會活動之間的關係。從概念外延上講，大數據可分成大數據技術、大數據工程、大數據科學和大數據應用等領域，是適應信息經濟時代發展需要而產生的科學技術發展趨勢。

狹義的大數據概念，主要指大數據技術及其應用，是指從各種各樣類型的數據中，快速獲得有價值信息的能力，一方面，強調從海量數據、多樣數據提取微價值，即具有價值（Value）特徵；另一方面，強調數據獲取、數據傳遞、數據處理、數據利用等層面的高速高效，即具有快速處理（Velocity）特徵。大數據概念裏的“數據”，是指具有可追蹤、可分析、可量化特性的數據。大數據概念裏的“大”，是指“大數據”所應具有的“大量化”（Volume）、“多樣化”（Variety）兩個特徵。從概念內涵上講，“大數據”（Big Data），一方面，反映的是規模大到無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合；另一方面，主要是指海量數據的獲取、存儲、管理、分析、挖掘與運用的全新技術體系。

事實上，大數據的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的“加工能力”，通過“加工”實現數據的“增值”。很顯然，挖掘大數據價值、提供大數據服務的能力，是大數據時代的核心競爭力。

（二）大數據形成的必然性

1.數據管理理念不斷變革，大數據成爲信息技術發展的必然選擇

大數據技術及其應用的驅動原因，在於數據管理理念的不斷變革。數據管理是利用計算機硬件和軟件技術對數據進行有效的收集、存儲、處理和應用的過程，其目的在於充分有效地發揮數據的作用。數據管理技術的發展先後經歷了四個階段，即人工管理階段、文件系統階段、數據庫階段、面向應用的數據管理階段。1996年，高德納（Gartner Group）提出“商業智能”概念，又稱商務智能（Business Intelligence，簡寫爲BI）。商業智能技術提供使企業迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化爲有用的信息，然後分發到企業各處。商業智能通常被理解爲將企業中現有的數據轉化爲知識，幫助企業作出明智的業務經營決策的工具。爲了將數據轉化爲知識，需要利用數據倉庫、聯機分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是數據倉庫、OLAP和數據挖掘等技術的綜合運用。可以認爲，商業智能是對商業信息的蒐集、管理和分析過程，目的是使企業的各級決策者獲得知識或洞察力，促使他們作出對企業更有利的決策。商業智能一般由數據倉庫、聯機分析處理、數據挖掘、數據備份和恢復等部分組成。商業智能的實現涉及軟件、硬件、諮詢服務及應用，其基本體系結構包括數據倉庫、聯機分析處理和數據挖掘三部分。

隨着現代信息傳播技術手段和方式不斷豐富，信息獲取、信息傳遞、信息處理、信息再生、信息利用等功能應用日益多樣化，智能化信息系統逐漸形成一個信息網絡體系，人類社會的生產方式、工作方式、學習方式、交往方式、生活方式、思維方式等發生了極其深刻的變革，互動化、即時性、全媒體等，成爲常態性的信息生態環境，傳統的數據庫組織架構和信息服務模式已經難以適應信息社會現實需要，整個信息技術架構的革命性重構勢在必行，大數據成爲信息技術發展的必由之路。

2.大數據源於虛擬網絡的迅速發展和現實世界的快速網絡化

一方面，虛擬網絡社會迅猛發展，形成了海量數據的持續生成空間，改變了人類的生存方式和活動方式，形成了人類的虛擬生活方式。

另一方面，雲計算、物聯網、社交網絡、電子商務、網絡社區、即時通信等技術形式的涌現，推動現實世界快速切換到網絡社會形態，衍生了規模巨大、類型多樣的數據資源。其中兩類數據尤其引人注意，一類是企業與企業和消費者之間的“大交易數據”，另一類是來自互聯網、社區網、企業服務網、物聯網等的“大交互數據”。

虛擬網絡的迅速發展和現實世界的快速網絡化，兩者交互影響，最終導致海量數據的持續生成和繁雜數據的不斷出現。目前，我們正處於一個信息爆炸的年代，全球每年產生的數據量是ZB級。2012年全球產生24ZB的數據，相當於3Trillion（萬億）的DVD，到2020年，數據還將增加14倍，達到40ZB。

大數據概念的提出，最初正是由於需要處理的信息量過大，超出了一般電腦的數據處理能力，無法透過目前主流軟件工具在合理時間內達到擷取、管理、處理並整理成爲幫助企業經營決策的資訊，因此工程師們必須改進處理數據的工具，這導致了新的處理技術的誕生，比如雅虎的開源Hadoop平臺，這類技術使人們可以處理的數據量大大增加。

3.大數據成了決定我們未來數字生活方式的重大技術命題

大數據概念最初起源於美國，是由思科、威睿、甲骨文、IBM等公司倡議發展起來的。

大約從2009年始，“大數據”成爲互聯網信息技術行業的流行詞彙。事實上，大數據產業是指建立在對互聯網、物聯網、雲計算等渠道廣泛、大量數據資源收集基礎上的數據存儲、價值提煉、智能處理和分發的信息服務業，大數據企業大多致力於讓所有用戶幾乎能夠從任何數據中獲得可轉換爲業務執行的洞察力，包括之前隱藏在非結構化數據中的洞察力。

最早提出 “大數據時代已經到來”的機構是全球知名諮詢公司麥肯錫。2011年，麥肯錫在題爲《海量數據，創新、競爭和提高生成率的下一個新領域》的研究報告中指出，數據已經滲透到每一個行業和業務職能領域，逐漸成爲重要的生產因素；而人們對於海量數據的運用將預示着新一波生產率增長和消費者盈餘浪潮的到來。黃升民、劉珊：《“大數據”背景下營銷體系的解構與重構》，《現代傳播》，2012年第11期。

大數據是一個不斷演變的概念，當前的興起，是因爲從IT技術到數據積累，都已經發生重大變化。僅僅數年時間，大數據就從大型互聯網公司高管嘴裏的專業術語，演變成決定我們未來數字生活方式的重大技術命題。2012年，聯合國發表大數據政務白皮書《大數據促發展：挑戰與機遇》；EMC、IBM、Oracle等跨國IT巨頭紛紛發佈大數據戰略及產品；幾乎所有世界級的互聯網企業，都將業務觸角延伸至大數據產業；無論社交平臺逐鹿、電商價格大戰還是門戶網站競爭，都有它的影子；美國政府投資2億美元啓動“大數據研究和發展計劃”，更將大數據上升到國家戰略層面。2013年，大數據正由技術熱詞變成一股社會浪潮，將影響社會生活的方方面面。

二、大數據應用狀況

1.大數據市場規模及增長趨勢

針對大數據的商業應用前景，有關研究機構給出了一系列分析報告。例如，技術研究和諮詢公司Gartner發佈了一份關於企業在大數據方面的支出情況報告，指出大數據將帶動2012年全球280億美元的IT支出，2013年帶動的IT支出規模可望進一步增至340億美元。 而到2016年全球在大數據方面的總花費將達到2320億美元。中國大數據應用市場已然初露崢嶸，2012年市場規模達到45億元，2013年還將持續發酵，未來三年內有望突破40億元，2016年有望達到百億規模，預計政府、電信、銀行將是最先使用大數據工具的行業。

2011年麥肯錫公司的報告預計，若把大數據用於美國的醫療保健，一年產生潛在價值3000億美元，若用於歐洲的公共管理可獲得年度潛在價值2500億歐元；若服務提供商利用個人位置數據可獲得潛在的消費者年度盈餘6000億美元。2012年3月，美國政府發佈《大數據研究與發展倡議》，這是繼其1993年宣佈“信息高速公路”之後推動實施的又一重大科技部署。據日矢野經濟研究所發佈的報告顯示，日本大數據產業2011年爲1900億日元，預計在2020年這個產業將會達到1萬億日元。

2.大數據商業實踐典型案例舉例

大數據商業實踐可以劃分爲兩類：一類是大數據行業，以IBM、微軟、惠普、Oracle、EMC、SAP等公司提供“硬件+軟件+數據”的整體解決方案，它們以平臺性爲特徵，提供基礎性服務；另一類是大數據應用，以臉譜、亞馬遜、谷歌、淘寶、百度等公司爲代表，基於自身擁有的海量用戶信息，提供精準化營銷和個性化廣告推介等。以上兩類中，大數據應用發展最爲吸引眼球。從個人層面來說，大數據應用涉及智能道路選擇、車載定位通訊、基於LBS的服務等；從組織層面來說，大數據應用涉及地理位置定向廣告、保險定價、緊急情況響應等；從宏觀層面來說，大數據應用涉及城市規劃、零售商業智能、新商業模式等。

在國外，一些企業利用大數據分析實現對採購和合理庫存量的管理，通過分析網上數據瞭解客戶需求、掌握市場動向。

在國內，中國聯通、海康威視、北京億贊普、搜狐、京東等也都在自己熟悉的行業內實施並推進大數據的應用實踐。中國市值最大的三大互聯網公司，騰訊、阿裏巴巴和百度，數據資產的最多擁有者——騰訊擁有最大的網絡通訊數據，阿裏巴巴擁有最大的網絡交易數據，而百度則擁有最大的搜索數據資產，它們都在積極佈局未來的大數據業務體系。

典型領域大數據行業應用行業應用特性分析應用案例零售業需要及時響應客戶需求，實現精準營銷；需要增強產品流轉率，實現快速營銷肖恩•麥登在亞馬遜網站客服處提交了Kindle的故障問題。僅僅30秒後，他的手機便響了。一位叫芭芭拉的客戶問候他之後說：“我瞭解到你的Kindle有一個問題。”亞馬遜在兩分鐘內便解決了肖恩的問題，並跳過了要求他詳細拼寫他的名字和地址的部分，而且她並沒有進一步向他銷售任何東西金融業金融智能決策；金融服務創新以阿裏巴巴金融之類的小額信貸公司爲例，通過在線分析小微企業的交易數據、財務數據，甚至可以計算出應提供多少貸款，多長時間可以收回等關鍵問題，把壞賬風險降到最低互聯網數據爆炸增長，結構類型複雜；用戶行爲豐富，Web社羣關係複雜；提升用戶體驗，增加用戶黏性Match com等交友網站也經常會仔細查看其網站上列出的個人特徵、迴應和交流信息，用來改進其算法，從而爲想要約會的男女提供更好的配對①交通行業系統性，數據量大；複雜性，涉及多方面數據；動態性，信息實時處理要求高UPS等貨運公司對卡車交貨時間和交通模式等相關數據進行分析，以此對其運輸路線進行微調安保行業多變量長期監測，多因素綜合分析以紐約市爲首的警方部門也正在使用計算機化的地圖以及對歷史性逮捕模式、發薪日、體育項目、降雨天氣和假日等變量進行分析，從而試圖對最可能發生罪案的“熱點”地區作出預測，並預先在這些地區部署警力傳媒行業新聞呈現與新聞點擊聯動，及時反饋，及時調整《赫芬頓郵報》和Gawker網站上傳播的新聞通常取決於數據，而不再取決於編輯的新聞敏感度，數據比有經驗的記者更能揭示出哪些是符合大衆口味的新聞①〔美〕賈斯汀-格裏莫：《大數據時代降臨》，2012年2月13日《紐約時報》。

三、大數據帶來的衝擊與挑戰

（一）“大數據的生態系統”各環節商業需求將催生數據技術體系變革

有研究者提出“大數據的生態系統”Stephen Watt：《Deriving new business insights with Big Data》，（2013-1-29），http：//www.ibm.com/developerworks/opensource/library/os-bigdata/indexhtml這一概念，簡而言之，就是數據的生存週期，是指數據從產生、到處理、再到價值提取、最後被消費掉的整個過程。

在這個生態系統中，不同環節的商業需求正在催生新的技術模式和方法以實現新的商業模式。由於大數據產業鏈貫穿整個數據生命週期過程，涉及數據中心建設與維護、數據處理與分析、視頻識別技術、語音識別技術、商業智能軟件開發、IT諮詢與方案實施、信息安全等諸多領域，因此，大數據產業，能夠催生更大的市場和利潤空間，將構建數據行業技術應用新體系。

（二）電子商務進一步發展，需求日益社會化、移動化、媒體化

所謂社會化媒體，是指基於用戶社會關係的內容生產與交換平臺。電子商務轉向社會化媒體主要有三方面的表現：第一，社會化媒體平臺上的主角是用戶，而不是網站的運營者。第二，社會化媒體是內容生產與社交的結合，也就是說，社會關係與內容生產兩者間是相互融合在一起的，社會關係的需求促進了社會化媒體平臺上的內容生產，反過來，這些平臺上的內容也成爲聯結人們關係的紐帶。第三，電子商務在不斷社會化的同時，也在不斷媒體化，日益成爲信息流動的渠道和平臺，逐漸具有了信息整合的媒體屬性。有關統計顯示，阿裏巴巴營收中有60%~80%來自淘寶和天貓的廣告費收入。

根據中國電子商務研究中心發佈的《2012年度中國網絡零售市場數據監測報告》，截至2012年12月底，中國移動電子商務市場交易規模達到965億元，同比增135%，依然保持快速增長的趨勢。預計2013年這一數字有望達1300億元。移動電子商務用戶規模逐年遞增。2009年我國移動電子商務用戶規模達3600萬，2010年這一數字攀升到7700萬人。2011年移動電子商務用戶規模達到1.5億人，同比增長94.8%。在剛過去的2012年移動電子商務用戶規模約達25050萬人，同比增長67%。預計到2013年，這個數字將增長到37250萬人。

（三）數字媒體的轉型發展，需要基於大數據分析開展資源整合

大數據背景下，信息的內涵已不僅僅是消息、通訊、評論等新聞，而是各種各樣的數據。這就要求媒體行業必須適應新的信息生產和傳播方式，以多元化媒介形態來承擔信息傳播的職能。大數據時代，媒體面臨的挑戰有以下幾個方面：第一，缺乏專門的數據分析方法、使用體系和高端專業人才；需要不斷提升專業技術人員的大數據分析水平，使其掌握從海量數據中快速挖掘出“微價值”的方法和能力；第二，技術（設備）水平亟須提升，數據的蒐集、處理、分享、挖掘、分析等工作所需的基礎技術架構和應用系統需要不斷提高；第三，數據資源再加工能力和數據產品創新能力薄弱，缺乏未來媒體競爭必備的獲取、分析、解讀數據等技能；第四，數據真實性、可靠性等方面保障能力薄弱，如何確保數據驅動的信息產品質量成爲制約媒介行業的一大難題。

大數據背景下，媒體的轉型發展既是戰略問題，也是技術問題，而這些問題的有效破解，將對未來的媒體形態和格局產生深遠影響。

（四）政治競選團隊面臨大數據挑戰，亟須有效利用數據驅動的機制優勢

據《美國時代週刊》報道，數據驅動的競選決策是奧巴馬競選獲勝的關鍵。新浪新聞中心：《深度分析：數據驅動奧巴馬勝選》，2012年11月11日。根據各種各樣的數據，依照科學的數據分析方法，基於數據驅動的競選決策，將深刻影響未來的美國大選。可以預見，未來的政治競選，數據分析人員將扮演重要角色。大數據分析，將深刻改變總統選舉的現有籌劃戰略和宣傳策略。

（五）大數據挖掘，催生用戶數據安全難題和用戶隱私保護難題

美國互聯網數據中心預計，互聯網上的數據每年將增長50%，每兩年將翻一番，而目前世界上90%以上的數據是最近幾年才產生的。大數據，一方面使我們的城市和地球更加智慧；另一方面，這也將催生一系列大數據信息挖掘業務，直接帶來新的網絡信息安全生態環境。可以預見，大數據將成爲網絡攻擊的顯著目標，加大政府、企業和個人隱私信息泄露風險，對現有的存儲和安防措施提出挑戰，還有可能成爲高級可持續的網絡攻擊載體。

四、應對大數據的幾點思考

（一）培植大數據產業鏈，促進數據技術研發政府層面，應創造良好的大數據產業發展環境

第一，制定大數據的技術標準和運營標準，鼓勵企業進行大數據相關技術研發與應用創新，在海量數據存儲、數據挖掘、語音數據處理領域、視頻數據處理領域、語義識別領域、圖像數據處理領域、信息傳輸、信息安全等技術的研發領域設立重大專項，給予政策和財政資金支持；第二，加快實施“寬帶中國”戰略，大力加強網絡基礎設施建設，突破關鍵技術，以基礎設施和技術創新保障大數據產業發展；第三，啓動大數據立法，從法律層面保障信息安全。

（二）深刻洞察用戶需求，構建新型電子商務模式

日益社會化、移動化、媒體化的電子商務發展趨勢，將會帶來海量數據的彙集，因此，電商企業亟須把大數據資源轉化爲大數據資產、把大數據分析轉化爲大智慧決策。大數據可視化信息圖譜輸出，使人們更加深入瞭解客戶的需求信息，賦予大數據系統洞察未來的能力，從而更加智能和科學地構建新型電子商務模式。

（三）數據驅動內容生產與傳播，提升傳媒核心競爭力

大數據背景下的媒體轉型，在處理好硬件架構、應用系統、人才隊伍等基礎問題之後，就必須確立明確的發展方向，即數據驅動的內容生產與傳播。

數據驅動內容傳播，將會使定製化、精準化和個性化的信息平臺成爲一種發展趨勢。面向個人的信息推送服務，媒介是移動終端（如智能手機），應用是移動互聯，賣點是定製、精準和個性化，它能在最短時間內，最有效率、最具針對性地滿足個性化信息需求。其操作模式表現爲：通過一定的數據採集、挖掘和分析之後，會形成一個清晰的“模型”（也可以叫“路線圖”）。然後，系統會根據這個模型，自動抓取個體關注的信息，然後向每個訂閱者推送。相較於手機報，它更小衆；相對於RSS訂閱，它更具個性。

（四）數據驅動競選決策，賦予政治傳播新機制優勢

政治傳播效果評估，一直是一個難題。大數據時代能夠獲得更多數據分析樣本，建構更爲龐大的基礎數據庫資源，形成連續、可靠的長期數據跟蹤監測，及時獲取最新政治傳播效果數據信息，並以此編制更爲精確、高效的政治傳播效果分析評估報告，提升競選團隊的洞察力及決策水平。