洶涌而來的大數據浪潮正在改變數據建模技術,包括模式的創建。這個觀點在2016年圣地亞哥舉辦的EDW(企業數據世界)會議上提出,數據專業人員應該及時做出調整,適應形勢的變化。
憑借海量數據和不同的數據結構,大數據的沖擊也為NoSQL、Hadoop、Spark等帶來了新的技術形式。尤其是NoSQL,呼吁在建立數據模型技術上做出改變。
2016年在圣地亞哥舉辦的EDW(企業數據世界)會議上,一些數據專家建議應該學習一些基本的命令,尤其是涉及到NoSQL數據庫的,如MongoDB,Cassandra和Redis,至少要掌握其中的一種。
“沒有人天生就掌握NoSQL“,紐約信息提供商LexisNexis的數據架構師Ted Hills如是說。數據建模師應該明白,他們掌握的所有關于邏輯建模的知識仍然是正確的,但他們也應該意識到NoSQL可以提供更豐富的工具箱,使開發者的工作更加便捷。
數據專業人員應該做好準備接受變化,并擁抱大數據工具的新功能,盡管大數據工具使得現有建模方法發生變化。
當數據建模技術遇上schema-on-write
大數據浪潮下,NoSQL的作用是延遲模式創建。數據模式的早期定義是數據質量實踐的關鍵和啟動一個項目的先決條件。
數據架構師和InfoAdvisors首席顧問Karen Lopez表示,在開發周期,模式創建可能會進入一個不同的階段。
“這并不是說我們不關心質量,只是我們不關心模式創建的前期,”她說,這并不意味著要設計成為“非模式化“。相反,他們支持類似于“schema-on-read”的模型。
Hills也表示認同,人們對于NoSQL的熱情逐漸緩和,因為他們不知道究竟是什么東西與數據庫管理系統發生碰撞。隨著初始數據的不斷開發,才創建了數據模式。他預計數據建模從一個只是說明性的模式逐漸發展到包括一些描述性的建模。
敏捷性很重要
“現在,數據建模的出現使得一切變得更具描述性,”獨立分析師Lakshmi Randall感嘆。
NoSQL數據庫可能與數據設計風格相關,比如說圖形數據庫。NoSQL圖形數據庫可以在許多交互中捕捉信息,例如,網絡和客戶關系系統。NoSQL圖形數據庫可以幫助創建一個廣泛應用的描述性模型。
Hills強調,設計NoSQL數據庫是一種趨勢,它使企業和軟件開發更加靈活。
設計NoSQL數據庫也被認為是提高敏捷性的方法。與傳統的建模相比,這種趨勢也有許多原則要遵守。例如,項目的運作要圍繞交付而進行,以及短暫而頻繁的迭代和適度使用預付模式。
敏捷性意味著團隊可以將項目劃分成更細化的模塊,提高完成項目的效率。企業業務的成功與否與每一個步驟息息相關。
Hills表示,數據建模師應該學習敏捷開發,提高工作效率。傳統的數據建模過程更傾向于一蹴而就,完成項目的風格與多年形成的習慣密切相關。
在創建模式之前,在NoSQL中存儲數據并無大礙。Hills叮囑數據建模者以更加開放的心態挖掘新技術的價值。不要把新技術、新工具看成是敵人,要把它當成一個突破局限、探索新事物的好機會。