根據部門的CIO Peter Alexander稱,澳大利亞財政部的項目是為了解決大數據,這個永無止境的事,并且需要不斷的發展。
財政部的作用是通過收集不同來源的數據完成經濟預測,其中包括澳大利亞統計局(ABS)和澳大利亞儲備銀行(RBA)。從2007年到現在它已經努力收集大型數據集(一般在Excel表格中),該方法的缺點是很明顯的。
Alexander說,一直以來財政部都采取“大數據微處理”的方式解決,但是在今年年初,政府部門開始推出其定制的數據分析平臺Odysseus,來回應持久的數據問題。
這是一個為期兩年的過程,它涉及建造一個新的數據庫。當外部來源提供可用信息時,Odysseus已經允許財政部自動更新其數據庫。
談到在悉尼舉行的CeBIT大數據會議,Alexander描述這個項目為“一個10年的希臘悲劇史”,因為在他當CIO之前 ,財政部已經花了很長一段時間試圖為它的數據難題找到一個解決方案。
Alexander說, “這是一個悲劇,因為它用了10年,可能還需要更長的時間才能發展成熟。”
考慮到Odysseus是跨部門更廣泛的部署方式,是否財政部的大數據悲劇就要接近它的尾聲了呢?
“我不這么認為,” Alexander說。 “如果我們說,(項目)完成的十全十美,那么我們就已經失敗了。”
“這需要一直學習,不斷進化,不斷變化的模型,并且是發展中的。”
雖然它通常是結構化的數據,但財政部收集的信息量仍在急劇增加。目前,該部門在Odysseus平臺上有一批微軟數據提取和分析工具來處理大數據,但還需要不斷地尋找更多的技術方案來解決大數據。
“未來有一些真正夢幻的終端用戶的技術是相當不錯的,” Alexander說,“我們正在尋找在微軟PowerPivot或者類似的,但我們認為,我們需要建立這個夢幻般的數據庫以及類似的東西,但這是浪費時間嗎?”
“一直在變化。”澳大利亞財政部正在考慮通過社交媒體收集數據,以此豐富其經濟預測。但是,在處理非結構化數據的洪流中,這將帶來更大的挑戰。
Alexander說,像NoSQL和Hadoop這樣的產品,對非結構化數據的處理是很有用的,財政部將仔細審查不同的方法以確保它為政府部門挑選出最合適的。
為數據管理人員創造了新的角色,作為其新的信息管理方法的一部分。數據管理人員負責檢查所有流入部門的新數據。財政部仍然占據領導的職位,決定是否將數據管理人員成為一個永久性的角色。