上個月末,Google發布了alpha版本的TensorFlow(TF)集成云端機器學習服務,為回應不斷增長的大規模在Google云端平臺(GCP)運行Tensor Flow庫的需要。
Google描述了一些有關建立TF使用規模的新功能,其中集成了一些GCP的模塊,例如Dataproc,是一個托管的Hadoop和Spark服務。開源機器學習系統TF和GCP的集成“使用戶能夠在托管的云服務上運行自定義的分布式學習算法”,作為發布的一部分,并與大數據和分析平臺以及機器學習領域緊密地結合起來。
PaaS將TF和若干預先為語言翻譯、圖片與語音辨識訓練的模型連接起來。TF服務現在集成了Kubernets以利用它的負載平衡器和Docker的pod編制語義來“有規模地訓練成千上萬的內核”。這個例子通過復制包裝過的TF資源記下了運行一個訓練過的Inception-v3模型的過程,包括TF基于服務的gRPC服務器和跨pod模型屬性,以及在一個集群過程中“超過2700萬的參數和每次推理進行的57億浮點運算”。
Docker集成進一步支持了新模型作為持續訓練管道的版本打包和部署,這是一個TF服務目標在今年早些時候公布的。一個為展示和學習的TF和Kubernetes教程允許用戶再現一個基于Inception的TF和Kubernetes管道。
這次通告還提及了Apache Beam,這是一個新的數據處理管道項目方案,它可以潛在地滿足一定規模的TF對傳遞學習數據集的管道需要,提供了批處理和流處理選項,同時也兼容Spark、Flink和基于Dataflow的系統。Google提供了與緊密耦合的ML系統相關的分析,根據可維護性和隨著時間而產生的技術債而來,其中的技術債可能會指向ML更遠的標準化可能性和通過觀看TF貫穿于GCP中漸增的普遍性。
查看英文原文:Google Cloud Machine Learning and Tensor Flow Alpha Release