在大數據時代中,如何更快地即時分析巨量資料,成為新的創業契機。來自臺灣的團隊「核桃運算MacroData」,從最底層的資料分析架構出發,耗費兩年半的時間,研發出可分析不同資料屬性,以及橫跨各式硬體的資料分析引擎,比起現有的資料庫來說,運算速度還要快50倍到100倍,今年下半年將正式走入市場。
令人意外的是,核桃運算一開始并非瞄準大數據商機。核桃運算的靈魂人物薛文蔚,是臺大資工系第一屆學生,畢業取得哥倫比亞大學資工博士學位后,先到華爾街工作兩年,在1995年開始創業,開發教育平臺。2000年回到臺灣 ,在知名的軟體公司Computer Associates負責亞洲地區的合資公司業務,隨后在臺灣成立供應鏈管理公司「聯合通商eBizprise」,和在中國的子公司「eBizServe」。
2011年,薛文蔚遇到一個中國大陸大型零售商的供應鏈預測問題。當20萬個品項、上萬個通路,再加上要做100週的預測時,資料共有驚人的上百億點,如此龐大的資料量,傳統的資料庫無法負荷。他發現市場空缺后,找來公司裡兩位同事黃怡誠和賴育駿,一同成立研發團隊。
雖然本來是從供應鏈管理的問題切入,但深入研究后薛文蔚卻發現,這是大數據的問題。他解釋,現在用的資料庫技術都是1970年時提出的架構,很多理論是基于當時的假設,「但當底層條件已經改變時,我們不該再用過去的模式想事情。」于是團隊從非常底層的架構重新思考,適合現在使用的運算模式是什么。
其中最大的差異是,過去資料運算時,需先從資料儲存的地方如硬碟,搬到記憶體運算后,再把資料放回去。但現在的資料量早已是過去的好幾千萬倍,薛文蔚打個比方:「Data的成長就好像房價一樣,Code的成長則好像薪水一樣。」
如果沿用過去搬動資料的運算方式,大多時間都是花在「搬移」上,因此核桃運算主張透過不搬動的「in-place computing」運算方式,直接把程式送到資料的所在地運算,少了搬移動作,資料運算速度就會提昇很多。目前團隊已申請四項美國專利,其中叁項已被核準。
比起現有的資料庫運算方式,核桃運算共同創辦人陳元貞解釋,以目前知名的Hadoop來說,透過分散式運算,把1部機器要算的東西放到100部機器上算,雖能提升運算速度,但卻不是每個公司都能負擔的起部建分散式運算系統。
若是非關聯式的NoSQL資料庫,數據存儲沒有一定的模式架構,雖然速度可以變快,但也因為不需固定模式,當要做兩者的比較分析或資料採礦就有些困難。若是傳統的MySQL資料庫,更是無法負荷現在龐大的資料量。
從2011年下半年先在母公司聯合通商旗下成立團隊開始,眾人花了兩年半時間研發,終于在今年推出產品「Big Object」,團隊也在今年2月從母公司獨立。Big Object主要運行在64 bit的裝置上,因為採用「in-place computing」,最大優勢就是快,運算速度可快50倍至100倍,因此可做到當下的即時分析。
此外,Big Object也能分析異質性資料,不只企業本身的商務資料,也能結合open data和非結構性資料,像是零售業者可和天氣預測或臉書貼文交叉比對。「就像冰山一樣,本來你只看到交易資料,可是更多的是你沒有看到水面底下的資料,」陳元貞說。
也因為Big Object是很輕巧的資料運算引擎,在未來物聯網時代,小至眼鏡、手錶,大到汽車、冰箱,每個裝置都能成為分析資料的機器,因此這些裝置也都可以嵌入Big Object的分析引擎,根據數據做出最優化的預測或行動,如調整車速、冰箱溫度等。
Big Object主要針對BI產品(Business Intelligence,從數據分析中挖掘商業價值)或LOG分析的軟體開發商,可直接將Big Object嵌入在軟體裡,收入以授權年費為主。目前核桃運算已有些試用客戶,像是在臺灣就已和神坊資訊旗下的購物網站合作,透過Big Object計算商品間的相關性,進而做出即時的購物推薦。
產品到位后,今年下半年Big Object將開始走入市場,目前處于客戶開發階段。陳元貞表示,由于這類應用主要在美國市場居多,因此今年3月團隊也在美國註冊公司,預計今年在臺灣和美國都要各自招募十人團隊,未來臺灣負責研發,美國則負責業務。
核桃運算四位共同創辦人,從左至右為賴育駿、薛文蔚、黃怡誠和陳元貞