近日,在Qcon會議上阿里云大數據產品經理韋嘯(花名龍場)透露阿里單個ODPS具有百萬以上服務器管理和調度的能力,并與iDST進行合作,在機器學習、深度學習方面有了突破,其中參數服務器計算框架能夠輕松應對百億級別特征的監督學習實例。
ODPS適用于政企、金融、游戲、物聯網等對于數據計算有高要求的行業,螞蟻金服最近推出的花唄、阿里媽媽的“直通車”等服務均得到ODPS支持。未來這些能力將通過阿里云計算予以開放。
龍場在《云上大數據-生于戰火的云端計算平臺:ODPS與阿里PAI》的演講中介紹了ODPS的一些技術特點。龍場表示,相對于普通工具,ODPS主要優勢在于多租戶管理、超大規模、安全和豐富的計算框架。他舉例說,就規模而言目前單個ODPS部署可以擴展到百萬臺服務器規模,且性能可以隨著規模的擴展而線性增強。
“說阿里巴巴的數據能力建立在ODPS上也不為過”,他表示。僅僅存儲數據并不會帶來價值,計算平臺起到將數據資源充分挖掘從而高效的產生價值的作用,相當于為數據賦能。
ODPS和阿里PAI是伴隨阿里巴巴超大規模數據計算場景而產生的,包含了3個層面:在硬層面將CPU、存儲、網絡等硬件統一調度,并通過一系列業界廣泛使用的分布式計算框架使之成為可用的生產力,在軟層面則包含了數據處理、統計、機器學習和深度學習等技術,在服務層面為客戶提供可視化等的用戶界面。
目前ODPS在內部環境下已有上萬用戶同時使用,每天處理100萬以上作業任務,并發處理2萬以上的任務。
此前,阿里巴巴董事局主席提出基于數據的計算處理將決勝未來,并提出了DT時代的判斷。在阿里巴巴的DT規劃中,包括了云平臺、計算平臺以及數據平臺3部分。
iDST(Institute ofData Science&Technologies)是阿里巴巴集團的一個數據科學研究部門,在美國和中國的多個城市組建團隊,將就大數據領域進行前瞻性研究。重點研究機器學習、人工智能、多媒體數據處理與挖掘等。