美國國家科學基金會(NSF)想要探索新的方式,以利用新的商業大數據工具來處理研究科學計算的數據管理和分析挑戰。
NSF向來自亞利桑那大學、埃默里大學、印第安納州、堪薩斯州、羅格斯大學、弗吉尼亞理工大學和猶他州大學的大學團隊撥款500萬美元來贊助該項目,被稱為用于數據密集型分析和科學的中間件(MIDAS)。
“很多科學問題依賴于分析和計算大量數據的能力,”美國國家科學基金會在其資助公告中稱,“這種分析往往不能很好地擴展;其有效性受到不斷增加的數據數量、種類和變化率的影響。”
該項目將會整合傳統高性能計算(HPC)(例如科學圖書館、通信和資源管理中間件)的功能與商業大數據生態系統中的豐富的功能集。
“這包括軟件系統,例如Hadoop,”NSF表示,Hadoop來自于Apache開源社區。Hadoop是一個開源框架,主要用于跨不同存儲和計算集群處理大型數據集。
美國國家科學基金會將會涉及MIDAS中間件,該中間件將會實現可擴展的應用程序,這些應用程序具有HPC的性能,以及商品Apache大數據堆棧的豐富功能。
美國國家科學基金會將會在七個不同的科學社區解決主要的數據挑戰,包括生物分子模擬、計算社會科學、計算機視覺、病理信息學和地理信息系統。
與這些研究領域相關的項目庫將會被開發為可擴展和可互操作,跨越各種計算系統,例如云計算、集群和超級計算機。