安全：大數據時代繞不開的話題

來源：網界網

評論相關研究表現，44%的大型企業(即擁有超過1000名員工的企業)認爲其安全數據收集和分析是“大數據”應用，而另外44%認爲其安全數據收集和分析將會在未來2年內成爲“大數據”應用。此外，86%的企業正在收集比兩年前“更多”或“略多”的安全數據。

相關研究表現，44%的大型企業(即擁有超過1000名員工的企業)認爲其安全數據收集和分析是“大數據”應用，而另外44%認爲其安全數據收集和分析將會在未來2年內成爲“大數據”應用。此外，86%的企業正在收集比兩年前“更多”或“略多”的安全數據。

這種增長趨勢非常明顯，大型企業正在收集、處理和保存越來越多的數據用於分析，他們使用來自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供應商的工具和服務從數據中獲取可操作情報用於風險管理和事故預防/檢測/響應。

最近，筆者與安全專家以及供應商圍繞大數據安全分析進行了很多探討，這些討論往往專注於分析應用程序方面。有時候這些討論會圍繞於安全分析基礎設施，例如Hadoop、HDFS、Pig和Mahout，有時候則圍繞UI、可視化分析、應用程序整合等。

每個人都對大數據安全分析應用程序感興趣，但幾乎沒有人會問大數據安全分析所需要的IT基礎設施基礎。其結果是，很多企業會受到打擊，他們甚至無法收集他們想要分析的安全數據。

收集和處理千兆或兆兆字節的安全數據需要對大數據安全分析管道進行一些規劃和部署，包括如下：

數據包捕捉設備。這些設備包括來自Cavium、Emulex和Solarflare等供應商的高性能智能NIC卡，磁盤驅動器，以及來自Wireshark等供應商的PCAP軟件，它們整合在一起作爲數據包捕捉設備。這些設備需要足夠快以捕捉和處理數據包，用於分析引擎的分類。PCAP硬件設備將出現在整個網絡的關鍵連接點，而虛擬PCAP設備能夠支持服務器虛擬化和雲計算平臺。

分析分佈網絡。數據包捕捉設備收集和處理數據，但數據仍然需要接近實時地在多個分析引擎移動。這正是分析分佈網絡的工作，這種系統包括來自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供應商的設備。在某些情況下，分析分佈網絡將補充數據包捕捉設備，在其他情況下，分析分佈網絡將提供輕量級PCAP功能。(請注意，用來描述這個的行業術語是“網絡數據包代理設備”，但筆者認爲這太以設備爲中心，所以換了名稱。)

SDN。SDN可編程控制平面很可能會成爲窮人的分析分佈網絡，但SDN不會很快就搶佔分配網絡設備的地位。SDN將會成爲分析基礎設施的一部分，補充PCAP和分析分佈網絡功能。SDN和分析分佈網絡整合給網絡數據捕捉和分析引擎帶來了強大的連接性。

分析中間件。在很多情況下，每個分析工具收集、處理和路由其自己的數據。雖然這是可行的，但這帶來了很大的冗餘性、資本成本和運營開銷。這裏需要的是某種類型的基於標準的中間件，以進行消息隊列或發佈和訂閱。例如，RSA Security公司使用開源RabiitMQ作爲其分析引擎之間的中間件。

從架構的角度來看，企業可以採用分層的方法來部署大數據安全分析，其中分析引擎從管道中抽象出來，但可以很容易地用來定製化安全數據收集、處理和分佈。這能讓首席信息官、首席信息安全官和網絡工程師來調整期基礎設施、流程和分析引擎，滿足其具體的企業和行業要求，以及管理資本和運營成本。

由此可見，一個很明確的教訓，告訴你不能通過簡單地連接每個分析引擎到span端口來收集、處理和路由安全數據。爲了避免這種情況，首席信息官、首席信息安全官和網絡工程師需要通過適當的管道爲大數據安全分析調整其計劃。但是，無論如何，一個既定的事實無法改變，那就是，安全問題已經成爲大數據時代繞不開的話題。