客服熱線：400-615-8698
文章來源：暢享網
大數據對於系統，不管是存儲系統、傳輸系統還是計算系統都提出了很多非常苛刻的要求，而現有的數據中心技術難以滿足大數據的需求。此外，大數據平臺是大數據技術鏈條中的瓶頸，特別是大數據的高速傳輸，需要革命性的新技術。
世界範圍的信息化變革使得幾乎每個行業都面臨着大數據問題。爲了有效地應對大數據帶來的全方位挑戰，同時充分利用這一前所未有的大好機遇，國內外的產業界、科技界甚至各國政府都在積極佈局、制定戰略規劃。
2012年3月，美國政府宣佈了2億美元的“大數據研究與發展計劃”，對大數據的研究上升爲國家意志。歐盟也出臺了類似的舉措。在這樣的背景下，中國計算機學會於2012年10月成立了CCF大數據專家委員會，意在探討大數據的科學與技術問題，推動大數據學科方向的建設與發展，同時構建面向大數據產學研用的學術交流、技術合作與數據共享平臺。
CCF大數據專家委員會希望通過對大數據熱點問題的探究，充分認識和了解大數據的關鍵性挑戰和獨特價值，更好地把握投入方向，對學術界、產業界、用戶有指導價值。通過大家的共同努力，真正突破解決這些問題，共同獲得大數據的巨大價值。
大數據的熱點問題
1.數據科學與大數據的學科邊界
這一問題綜合了兩個問題，即大數據的基本內涵與數據的科學問題。前者關注的是大數據的基本定義和基本結構。迄今爲止，什麼是大數據，在產業界、學術界並沒有形成一個公認的科學定義，大數據的內涵與外延也缺乏清晰的說明。大數據區別於其他數據的關鍵特性是什麼？IBM提出了3V的說法，即volume（體量大）、variety（模式多）和velocity（速度快）。爾後又有人提出了另一個V，即value（價值），表示大數據雖然價值總量高但其價值密度低。另外，大數據是否就意味着全數據，還有待進一步討論與澄清。最後，還需要爲動態、高維、複雜的大數據建立形式化、結構化的描述方法，進而在此基礎上發展大數據處理技術。後者關注的是數據界與物理界、人類社會之間的關聯與差異，探討是否存在獨立於應用領域的數據科學。如果存在數據科學，其學科問題的分類體系又是什麼？目前已有的共識是，大數據的複雜性主要來自數據之間的複雜聯繫。另外，新型學習理論和認知理論等應當是數據科學的重要組成部分。
2.數據計算的基本模式與範式
大數據的諸多突出特性使得傳統的數據分析、數據挖掘、數據處理的方式方法都不再適用。因此，面對大數據，我們需要有數據密集型計算的基本模式和新型的計算範式，需要提出數據計算的效率評估方法以及研究數據計算複雜性等基本理論。由於數據體量太大，甚至有的數據本身就以分佈式的形式存在，難以集中起來處理，因此對於大數據的計算需要從中心化的、自頂向下的模式轉爲去中心化的、自底向上、自組織的計算模式。另外，面對大數據將形成基於數據的智能，我們可能需要尋找類似“數據的體量+簡單的邏輯”的方法去解決複雜問題。
3.大數據特性與數據態
這一問題綜合了三個候選問題，即大數據的關係維複雜性、大數據的空間維複雜性和大數據的時間維複雜性問題。大數據往往由大量源頭產生，而且常包含圖像、視頻、音頻、數 據流、文本、網頁等等不同的數據格式，因此其模態是多種多樣的。主要來源於多模態的大數據之間存在着錯綜複雜的關聯關係，這種異質的關聯關係有時還動態變化，互爲因果，因此導致其關聯模式也非常複雜。大數據的空間維問題主要關注人、機、物三元世界中大數據的產生、感知與採集，以及不同粒度下數據的傳輸、移動、存儲與計算。另外，還需研究大數據在空間與密度的非均衡態對其分析與處理所帶來的理論與技術挑戰。而大數據的時間維問題意圖在時間維度上研究大數據的生命週期、狀態與特徵，並探索大數據的流化分析、增量式的學習方法與在線推薦。最後，研究大數據的離線與在線處理對時效性要求。
4.大數據的數據變換與價值提煉
這一問題主要由“如何將大數據變小”與“如何進行大數據的價值提煉”兩個問題組成，前者要在不改變數據基本屬性的前提下對數據進行清洗，在儘量不損失價值的條件下減小數據規模。爲此，需要研究大數據的抽樣、去重、過濾、篩選、壓縮、索引、提取元數據等數據變換方法，直接將大數據變小，這可以看作是大數據的“物理變化”。後者可看作是大數據的“化學反應”，對大數據的探索式考察與可視化將發揮作用，人機的交互分析可以將人的智慧融入這一過程，通過羣體智慧、社會計算、認知計算對數據的價值進行發酵和提煉，實現從數據分析到數據價值判定和數據製造的價值飛躍。
5.大數據的安全和隱私問題
只要有數據，就必然存在安全與隱私的問題。隨着數據的增多，大數據面臨着重大的風險和威脅，需要遵守更多更合理的規定，傳統的數據保護方法無法滿足這一要求。因此，面對大數據的安全與隱私保護，有大量的挑戰急需得到解決，具體包括：大數據計算倫理學、大數據密碼學、分佈式編程框架中的安全計算、遠程數據計 算的可信任度、數據存儲和日誌管理的安全性、基於隱私和商業利益保護的數據挖掘與分析、強制的訪問控制和安全通信、多粒度訪問控制以及數據來源和數據通道的可信等。
6.大數據對IT技術架構的挑戰
這一問題是對熱點問題“大數據對於系統的要求”的新解讀。大數據對於系統，不管是存儲系統、傳輸系統還是計算系統都提出了很多非常苛刻的要求，而現有的數據中心技術難以滿足大數據的需求。譬如，存儲能力的 增長遠遠趕不上數據的增長，設計最合理的分層存儲架構已成爲信息系統的關鍵。分佈式存儲架構不僅需要scale-up式的可擴展性，也需要scale- out式的可擴展性。因此對整個IT架構進行革命性地重構勢在必行。此外，大數據平臺（包括計算平臺、傳輸平臺、存儲平臺等）是大數據技術鏈條中的瓶頸，特別是大數據的高速傳輸，需要革命性的新技術。
7.大數據的應用及產業鏈
大部分大數據專家委員會的委員都認爲，大數據的研究與應用一定要與領域知識相結合，尤其在開展大數據研究的初期，計算機領域的科技工作者一定要虛心向各領域的科技人員請教，真正瞭解和熟悉各領域發生數據的特點。針對不同的領域環境和不同的應用需求，大數據的獲取、分析、反饋的方式有所不同。爲此，針對不同行業與領域業務需求，我們需要展開數據特徵與業務特徵的研究，進行大數據應用分類與技術需求分析，構建從需求分析與業務模型，到數據建模、數據採集和總結反饋，最後到數據分析的全生命週期應用模型。其實，不同的應用環境和應用目標代表了不同的價值導向，這對於大數據的價值密度有很大的影響。
8.大數據的生態環境問題
大數據作爲21世紀的“新石油”，是一種寶貴的戰略資源，因此對大數據的共享與管理無疑是其生態環境的一部分。對於大數據的共享與管理，其中所有權是基礎，這既是技術問題，也是法理問題。對數據的權益需要進行具體認定並進行保護，進而在保護好多方利益的前提下解決數據共享問題。爲此，可能會遇到不少的障礙，包括人們對法律或信譽的顧慮，保護競爭力的需要，以及數據存儲的位置和方式不利於數據的訪問和傳輸等。此外，生態環境問題還涉及與政治、經濟、社會、法 律、科學等等的交叉影響問題。因爲大數據將對國家治理模式、企業的決策、組織和業務流程、個人生活方式都將產生巨大的影響，所以這種影響模式值得深入研究。
2013年度大數據發展趨勢
1.數據資源化
這一候選發展趨勢得到了委員們最多的關注。數據的資源化是指大數據在企業、社會和國家層面成爲重要的戰略資源。2013年大數據將成爲新的戰略制高點，是大家搶奪的新焦點；大數據將不斷成爲機構的資產，成爲提升機構和公司競爭力的有力武器。
2.大數據隱私問題
大數據對於隱私將是一個重大挑戰，現有的隱私保護法規和技術手段難於適應大數據環境，個人隱私越來越難以保護，有可能會出現有償隱私服務，數據“面罩”將會流行。而且預計2013年將會頒佈關於大數據隱私的標準和條例。
3.大數據與雲計算等深度融合
大數據處理離不開雲計算技術，雲計算爲大數據提供彈性可擴展的基礎設施支撐環境以及數據服務的高效模式，大數據則爲雲計算提供了新的商業價值，因此從 2013年開始大數據技術與雲計算技術必然進入更完美的結合期。總體而言，雲計算、物聯網、移動互聯網等新興計算形態，既是產生大數據的地方，也是需要大 數據分析方法的領域。
4.基於海量數據（知識）的智能
2013年將會有更多基於海量數據（知識）的智能成果出 現，甚至有可能產生人工大腦。至少類似於Chinese Room這樣的問題將得到徹底解決。因爲所有人們能想到的問題，在問之前就都已經被人回答過了，所以，即便在沒有思考和邏輯的情況下，也可以利用前人的經 驗同樣可以起到腦的功能，甚至也可能通過大數據直接進行推理。
5.大數據分析的革命性方法
在大數據分析上，2013年將出現革命性的新方法。就像計算機和互聯網一樣，大數據可能是新一波的技術革命。基於大數據的數據挖掘、機器學習和人工智能可能會改變小數據/小世界裏的很多算法和基礎理論，這方面很可能會產生理論級別的突破。
6.大數據安全
大數據的安全令人擔憂，大數據的保護越來越重要——大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制提出更高的要求。進入2013年，網絡和數字化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局，也就是說大數據已經把你出賣。
7.數據科學興起
2013年數據科學作爲一個與大數據相關的新興學科出現，將有專門針對數據科學的專業形成，有博士、碩士甚至本科生出現。同時，有大量數據科學的專著出版。
8.數據共享聯盟
數據共享聯盟將在2013年逐漸壯大成爲產業的核心一環。數據是基礎，之前在科技部的支持下，已建立了多個領域的數據共享平臺，包括氣象、地震、林業、農業、海洋、人口與健康、地球系統科學數據共享平臺等。之後，數據共享將擴展到企業層面。
9.大數據新職業
大數據將在2013年催生一批新的就業崗位，如數據分析師、數據科學家等。具有豐富經驗的數據分析人才成爲稀缺資源，數據驅動型工作機會將呈現出爆炸式的增長。大數據領域最優秀的科學家們紛紛轉行股票、期貨、甚至賭博（能比別人多看遠一秒鐘，就是效益）。
10.更大的數據
現在的大數據，將來都不夠大。2013年，大數據將獲得更多的關注、研究、開發和應用，所引起的結果是：體現大數據特徵的體量大、速度快、模態多、價值密度低等幾個V的特性將變得更加極致。尤其是大數據的價值密度會越來越低——數據不斷地增長，如何去除大數據中的噪聲等垃圾數據，進而從中挖掘和提取出有價值信息的難度也隨之增大。
