9月24日消息,據(jù)外媒報(bào)道,通過開源實(shí)現(xiàn)大規(guī)模創(chuàng)新的非營利性組織Linux基金會今天宣布,被廣泛采用的交互式數(shù)據(jù)查詢引擎Presto將在Linux基金會下托管。
新成立的Presto基金會將采用開放和中立的治理模式,使Presto能夠擴(kuò)大規(guī)模并使其社區(qū)多樣化。創(chuàng)始成員包括Facebook、阿里巴巴、Twitter和Uber,他們將利用該基金會使貢獻(xiàn)者能夠推動項(xiàng)目的未來發(fā)展方向,并幫助Presto成為用于大規(guī)模分布式數(shù)據(jù)處理的最快、最可靠SQL引擎。
Presto是Facebook于2012年開發(fā)的高性能分布式SQL查詢引擎,主要用于大規(guī)模數(shù)據(jù)分析。Presto的架構(gòu)允許用戶查詢各種數(shù)據(jù)源,如Hadoop、S3、AlLuxio、MySQL、PostgreSQL、Kafka以及MongoDB,并以規(guī)模和速度聞名。它解決了以前該領(lǐng)域面臨的兩難問題,無需在使用昂貴商業(yè)解決方案的快速分析或使用需要過多硬件的緩慢但“免費(fèi)”解決方案之間進(jìn)行選擇。
Facebook的Presto工程總監(jiān)Nezih Yigitbasi說:“Presto專為在大量機(jī)器上進(jìn)行高性能艾字節(jié)規(guī)模的數(shù)據(jù)處理而設(shè)計(jì),其靈活的設(shè)計(jì)允許處理來自各種數(shù)據(jù)源的數(shù)據(jù)。從第一天開始,Presto的設(shè)計(jì)就考慮到了效率、可擴(kuò)展性和可靠性,并且經(jīng)過多年的改進(jìn),它可以在Facebook承擔(dān)更多的用例,例如批處理和其他特定于應(yīng)用程序的交互式用例。”
Facebook開源項(xiàng)目負(fù)責(zé)人凱西·卡姆(Kathy Kam)表示:“僅在Facebook,就有一千多名員工使用Presto,每天運(yùn)行數(shù)百萬個查詢和處理PB級的數(shù)據(jù)。在創(chuàng)建Presto之后,我們對其進(jìn)行了開源,看看其他公司是否也有同樣的問題并希望進(jìn)行合作。事實(shí)證明,許多其他公司都對此感興趣,因此在Linux基金會下,我們相信該項(xiàng)目可以讓其他人參與進(jìn)來,并為所有人的利益發(fā)展社區(qū)。”
Linux基金會戰(zhàn)略項(xiàng)目副總裁邁克爾·多蘭(Michael Dolan)說:“Linux基金會很高興與Presto社區(qū)合作,共同解決互聯(lián)網(wǎng)規(guī)模的海量分布式數(shù)據(jù)處理面臨的日益嚴(yán)重的問題。”
Presto基金會將在社區(qū)治理模式下運(yùn)作,每個創(chuàng)始成員都會派駐代表。隨著這一發(fā)展,F(xiàn)acebook將與更廣泛的用戶和貢獻(xiàn)者生態(tài)系統(tǒng)合作,以作為該基金會未來的一個聲音存在。
Presto是一個分布式系統(tǒng),設(shè)計(jì)用于在大型機(jī)器集群上運(yùn)行。它可以查詢其存儲位置的數(shù)據(jù),而不需要將數(shù)據(jù)移動到單獨(dú)的系統(tǒng)上。它的內(nèi)存和分布式查詢處理促使查詢延遲為幾秒到幾分鐘。
Uber開源主管布萊恩·赫斯(Brian Hsieh)表示:“Uber的數(shù)據(jù)平臺架構(gòu)使用Presto從聚合數(shù)據(jù)中提取關(guān)鍵見解,這有助于我們?yōu)榭蛻魳?gòu)建更好的產(chǎn)品。Uber很榮幸與Linux基金會和技術(shù)社區(qū)的主要貢獻(xiàn)者合作,讓Presto基金會煥發(fā)生機(jī)。我們的目標(biāo)是幫助創(chuàng)建一個開放和協(xié)作的社區(qū),Presto開發(fā)者可以在其中茁壯成長。”
阿里巴巴OLAP Products高級總監(jiān)Liang Lin表示:“阿里巴巴集團(tuán)很高興參與Linux基金會這個令人興奮的項(xiàng)目,我們擁有豐富的業(yè)務(wù)場景和才華橫溢的開發(fā)團(tuán)隊(duì)。我們相信,這一合作最終將使社區(qū)、阿里巴巴以及我們的客戶受益。”
Linux基金會成立于2000年,有超過1000名成員支持,是世界上在開放源碼軟件、開放標(biāo)準(zhǔn)、開放數(shù)據(jù)和開放硬件方面的領(lǐng)先協(xié)作組織。Linux基金會的項(xiàng)目對世界上的基礎(chǔ)設(shè)施至關(guān)重要,包括Linux、Kubernetes、Node.js等。Linux基金會的方法側(cè)重于利用最佳實(shí)踐并滿足貢獻(xiàn)者、用戶和解決方案提供商的需求,以創(chuàng)建開放協(xié)作的可持續(xù)模型。