2016年對于SDN來說無疑是利好的一年,在金融、電信、互聯網等行業SDN產品和解決方案開始規?;渴?,許多傳統行業對于SDN的需求也初現端倪?!?016~2017年中國SDN市場發展狀況白皮書》顯示,2016年中國SDN軟件市場(主要指SDN控制器及相關的軟件解決方案與服務)規模達到了7.2億元,比2015年增長30.9%,預計到2021年,市場規模將達到46.7億元。同時,白皮書也指出了企業傳統網絡架構面臨的四大難題。
難以滿足業務靈活部署的需求難以滿足業務資源整合的需求難以滿足場景化的需求難以滿足新的運維需求在討論運維難題的時候,分析師認為傳統運維方式無法對整個網絡的流量、設備以及業務實現集中管控、統一編排。造成這個問題的原因除了網絡架構的變遷,不容忽視的一點是,現在網絡中的數據量實在是太大了。軟件技術的發展支撐了更多智能設備的接入。今天我們不斷地從各種源頭搜集和存儲網絡交易、社交媒體動態、移動設備以及各類不知道名字的自動化傳感器產生的數據。
在這種情況下,爆炸式增長的數據的存儲和計算需求促使存儲硬件、網絡基礎設施以及處理海量數據的計算方法不斷改進。傳統運維從只對網絡基礎設施和流量進行簡單管理到突然增加對業務和復雜流量進行管理必然力不從心。
Data is useless until you use it to make decisions2017年初,思科斥資37億美元收購了AppDynamics,這是繼14億美元收購物Jasper的又一大動作。媒體視之為思科戰略轉型的標志,在筆者看來,思科是在布局其大數據生態。
大數據面臨的挑戰不僅僅是數據的大小,更是如何用新的方法從各類數據平臺處理數據。跟傳統的商業智能(BI)相比,大數據分析能為企業網絡管理帶來質的改變,其價值也更大。
追根溯源的能力
現代企業網絡中每秒有百萬級的數據包在傳輸,當需要進行troubleshooting的時候,有太多的地方要去檢查,按照傳統的方法,即便是5分鐘的數據也需要幾個小時甚至幾天來分析處理。倘若多數情況下的問題不是網絡的問題,應用程序的代碼本身也應該和網包、網流一起被拿來分析。網絡管理需要弄清楚不同數據類型之間的區別。一些現有的解決方案在客戶可承受的價格范圍只能存儲三天的流量數據,對于時間更久遠的網絡故障,溯源只能水中撈月。
防微杜漸的能力
變化是現在IT系統的主題,已經改變的信息并沒有什么意義,相反,預測有意義的變化十分具有挑戰。有時受限于網絡流量的大小和帶寬,一些大數據分析行為可能會引起正常業務的中斷。以電商網站的大促活動為例,預演的效果并不能涵蓋全部可能真實的場景。一個優秀的架構師通常能預見到現在的架構有什么潛在問題。而如今,能發現這些潛在問題的手段,多依賴大數據分析。
洞悉未來的能力
大多數傳統的網絡系統缺乏靈活的設計,在面對現在復雜的網絡環境時無法應對。傳統網絡中簡陋的網絡監控設備無力應對復雜的虛擬化網絡,更遑論從中提取出可執行的規則;而基于探測和代理技術的監控系統也無法完全覆蓋underlay和overlay的網絡。將所有的數據匯聚在一起利用大數據技術進行分析是企業網絡團隊必須首先解決的難題,因為其他的大數據分析應用已經為業務部門創造了新的商機。
企業IT團隊已經實現了更快速的故障排查,通過對大數據分析技術的利用,改進網絡基礎設施的安全性、穩定性和可用性。未來的網絡該怎么設計?也許大數據分析能帶給人們一些啟示。
網絡運維的問題其實是大數據的問題SDN的本質是控制與轉發分離,從這個角度來看,控制的核心思想是網絡中有了“大腦”,通過這個智能系統對網絡設備下發指令,那么這些指令又來自哪里呢?通常我們認為,這些指令來自控制器基于已有的協議、規則對網絡流量和網絡行為的“審判”。而這個“審判”的過程,我們稱之為大數據分析。數據分析并非新生事物,在這里,我們加了個“大”字。
任何大數據分析的應用最重要的基礎環節便是采集和存儲。關于采集,業界已經有過較多的討論,本文不再贅述。筆者想從以下幾個方面簡單概述一下大數據分析面臨的問題。
靈活擴展的存儲能力
在上一篇《直面數據中心網絡六大需求,六步打造面向未來的網絡》文章中筆者提過,思科網絡報告白皮書顯示2015~2020年全球網絡流量年復合增長率達到22%(注:2015年全球網絡流量為72EB,2016年這一數字為88EB,1EB=1,000PB)截至2020年全球網絡流量將會凈增長200EB。對如此規模的流量進行采集和分析的需求必然要求較強的存儲能力。
考慮到22%的增量,存儲系統必須在不喪失性能的前提下具有高度的靈活和可擴展性,以便不停機彈性擴容。文件系統還必須支持諸如同時處理不同類型和來源數據的能力、把海量大數據轉換成元數據的功能等等。在筆者看來,網絡的問題首先是大數據存儲的問題。在規劃和設計存儲系統的時候,應該考慮所有當下的情況以及未來的使用場景。
延時的問題
2015年前后的一段時間,IT圈很流行實時流數據處理技術;后來筆者了解到大量的公有云服務商在自己的基礎設施中使用加速卡/智能卡。比如,微軟通過使用FPGA技術的智能網卡提高了Azure的性能,微軟的FPGA智能網卡還有加密和加速存儲協議的功能。大數據分析在一些場景如社交媒體、交易數據等需要實時處理以便作出決策,這要求不能出現響應延時或者數據丟失。對需要根據實時數據作出響應決策的應用來說,這個要求會更高。
跨平臺接入
隨著大數據應用在各種平臺和系統(尤其是物聯網)上,對數據的交叉使用成為一種常規需求。公有云服務商在幫助大型客戶進行數據遷移的時候遇到過較多此類案例,存儲系統必須能夠同時處理來自不同系統、不同格式的異構數據。數據時代的大數據生態必然要求軟、硬件盡可能的兼容、統一。IDC近年來一直致力于通過采用標準服務器來優化網絡和擺脫廠商綁定;世界上最先進的數據中心如谷歌、微軟、領英、Facebook等都在向著這個方向發展。
安全的問題
安全是云計算的基石,之所以這么說源自數據對于我們的重要性。比如,最近大家熱議的某公有云廠商租戶隔離的問題;多數人認為VPC是目前成熟的、可行的租戶安全解決方案,這也是多數云廠商產品化的方向。事實上層出不窮的安全事件都是針對數據的竊取或破壞。由于數據交叉使用,現有的IT系統安全機制需要作出較大調整,而存儲也需要在不犧牲性能和可擴展性的前提下,滿足對這些數據處理的安全要求。
成本的問題
大數據意味著高成本,對數據分析來說,計算資源顯然沒有存儲資源的開銷大。有人認為采用開放標準硬件能節省大量的成本(約30%~80%不等)。曾經轟轟烈烈的去IOE和政府倡導的國產化,在節約成本方面無疑有很多值得稱道的地方。隨著OpenStack的遍地開花,開源存儲技術也獲得了長足的發展。企業選擇不使用市面上現有的商用存儲方案,對數據去重、壓縮備份,用自己定制化的存儲硬件等措施,可以顯著降低成本。
總結一下,大數據的價值已經得到普遍的認可,看一下自動化之于網絡運維的效果我們相信,未來是令人振奮的,但更深層次的價值有待業界進一步發掘;通過研究不難發現,網絡運維的問題其實是大數據的問題,而大數據分析本身尚處在初級階段,有較多亟需解決的難題。那么,在這條路上我們該怎么走?
本文作者:魏星@云杉;來源:云杉網絡