OEM存儲廠商正在被迫“簡化”存儲,因為我們沒有能很好應對目前各種復雜性的存儲人才。問題是,簡化存儲對于我們大多數人來說到底是件好事還是壞事?
對于客戶來說當然是好的。在不久以前,我們有了使用VERITAS卷管理器和文件系統(VxVM和VxFS)的SAN文件系統,用于許多商用站點和各種各樣的應用。今天,世界完全不同了,越來越簡單。在我看來,這一切都是從NFS和NAS存儲開始的。
那么,這種向簡化存儲的變化,只是循環周期的一部分嗎?還是長期的發展方向?
存儲簡化的歷史
有句老話:IT里沒有新的工程設計問題,而是解決老問題的新工程師。目前的存儲趨勢是向一體機的發展。我猜測,這種趨勢之所以會發生,是因為存儲管理員和架構師的匱乏。
這個趨勢也源自于其他市場因素,例如缺乏標準。我們有針對互聯網標準的IETF,但是對于服務器端的存儲,幾乎沒有任何主導的標準。我們有OpenGroup和SNIA,但而二者在開發廣泛的管理標準方向都不是很成功,雖然SNIA出臺了Storage Management Initiative Specification (SMI-S),但是我認為有點遲了。現在我們有一個共同商定的網絡管理通用架構,但不是適用于所有文件系統的,從像XFS、EXT-4和NTFS這樣的本地系統,一直到像GPFS和Lustre這樣的大規模并行文件系統。
坦率地說,在我看來,廠商在20世紀90年代沒有把握機會聯合起來是一件很遺憾的事情。缺乏合作驅動的創新行為,這是我認為NAS將在21世紀初期NAS崛起的主要原因。NAS易于使用且易于配置、管理和升級。
我記得,早在20世紀90年代末和21世紀初的時候,SAN管理員和架構師極其吃香,薪水高得竟然。即使是在互聯網泡沫破滅之后,SAN管理員和架構師的薪資仍然高于其他IT職位的平均薪資水平,因為這方面的人才實在太匱乏了。
像EMC、惠普、IBM、Sun和Veritas這樣的公司都試圖通過提供認證和教育機會搶奪SAN人才。但是對于客戶來說,這種認證需要時間和金錢,每年或者每次發布之后都需要進行培訓。最糟糕的是,你獲得了Sun認證,但對EMC認證并沒有多大幫助。唯一的共同點可能是在光纖通道交換機方面。因此,如果客戶希望或者需要一個混合的環境,那么不得不讓技術人員把大量的時間花在接受培訓上。
在21世紀初期,大概是因為來自客戶的壓力,很多SAN廠商開始有所覺醒。而且,這個時期也開始了SAN公司的整合,減少了培訓課目的數量,同時廠商也在嘗試著開發類似SMI-S這樣的通用SAN管理框架。
為時太晚
在同一時期,NAS市場飛速發展著。NAS的管理、配置、升級和培訓都非常簡單,接口采用的是NFS。
但是缺少兩件事:
1、在流處理I/O方面,NAS的性能還無法與SAN相提并論。但是,很多人發現,大多數I/O都不是流式的,但是IOPS,NAS廠商是通過增加讀緩存解決的。
2、擴展NAS是個問題,因為性能并不能隨之擴展。因此,這使得文件系統的大小局限在一個NAS框架內。雖然NAS覆蓋了相當一部分市場,但卻無法覆蓋到更高端的市場。
除了少數例外,大部分大型SAN文件系統廠商的市場份額正在被NAS廠商奪走。今天,SAN文件系統市場正在迅速小時,被取代。當你想要一個多PB的命名空間時,你只有幾個POSIX文件系統的選擇,但卻有很多基于REST/SOAP接口的選擇。不過,成為一位了解現有文件系統的文件系統專家,要求非常嚴格的訓練,尤其是考慮到主機、網絡、存儲設備以及映射到數百個文件系統可調參數的復雜性。
我們的未來是什么樣的?
我們已經走到了這樣一個地步,存儲復雜性已經超過了人才的儲備量。而且現在仍然沒有一個通用的管理框架,我們有新的應用、設備和方法。我們看到,一體機市場正在崛起,這種產品不需要高端存儲的管理人員和專家。
例如,大多數并行文件系統群體已經轉向了操作簡單的一體機。大多數HPC環境的采購人群也已經迅速接受這種技術,因為文件系統不僅成本高而且培訓時間長。
當然,這只是硬幣的一面。同樣的事情正發生在存儲設備和管理對象接口的軟件上。這些硬件和軟件正變得越來越易于使用,只有在極大規模的情況下才要求有高成本的管理人員。
所以,如果你是一位經驗豐富的資深管理員,那么你打算怎么做才不會讓自己的薪水大幅縮水?
我認為答案是用于數據分析的一體機(在這里我不談Hadoop,因為在這個領域的很多架構設計已經完成)。現在,數據分析一體機正處于初期階段,需要大量精力去開發,數據分析的類型也很復雜。例如,你可能會對一張圖像進行去像素畫,并創建一個地理位置的數據庫,讓圖像分辨率規范化,這會隨著技術的改進而發生變化。然后,你可能會利用這些圖像數據預測天氣和氣候。這與將業務數據進行分析、嘗試將其與價格和收入聯系起來使利潤最大化是完全不同的。
曾經很困難的事情如今正在變得越來越簡單。但是我猜測還會有新的更復雜的一體機出現用于解決各種各樣的問題,要求大量的調優和配置工作。必須對收集和處理的信息進行構建,這樣當試圖將這些信息進行關聯、處理并提供結果給決策者的時候,數據信息的訪問變得更加有效。
最后的思考
文件系統的存儲復雜性問題大多數已經被解決,目前仍然有少數問題仍然擺在那里,但是已經不像以前那么多了。
不過,現在擺在我們面前的是一系列全新的、更加復雜的難題。這些難題要求我們對用戶使用存儲、他們如何訪問數據以創建作為決策依據的信息進行深入的了解。這些工作都將是高回報的工作,要求廣泛的技能和技術。但是這些技術與現有的SAN和NAS所要求的技能是不同的,必須直接與應用開發者和用戶進行溝通。
試想一下,這聽起來有點像在1996年和1997年當SAN文件系統開始問世的時候一樣。我們必須與負責各個部分的技術人員溝通,更快速高效地掌握所有技能。我相信,今天我們仍然需要這種方法。