精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

Netflix力圖在人們未觀看視頻之前就預測他們想看的。為此Netflix每日運行多個機器學習（ML)工作流，這些流水線用于構建、訓練并驗證有助于視頻推薦的個性化推薦算法。Meson是一個工作流的協調和調度架構，它管理這些所有機器學習流水線的生命周期。

近期Netflix開發團隊公開了Meson架構，并描述了它是如何作用于機器學習流水線的。Meson的目標之一是當允許工程師用自選的技術構造流水線的每一步時，增進整體算法實驗的速度、可行性和可重復性。

部分在Netflix的機器學習流水線中發揮了重要作用的技術包括：Spark MLlib、Python、 R 和Docker。

一個典型的用于驅動視頻推薦的機器學習流水線包括如下步驟：

在Netflix，用戶選取步驟通過Hive查詢實現了對用于分析的用戶隊列的選擇。數據清洗和準備功能由Python腳本實現，該腳本創建了兩套用戶，用于并行的兩條執行路線。其中的一條執行路線實現對全局模型的構建和分析，其中使用了Apache Spark作為運算架構，以及HDFS作為臨時存儲。另一條執行路線使用R語言構建地區（國家）特定的模型，其中地區的數量依據為分析所選取的隊列而動態變化。

模型驗證步驟用Scala代碼實現，。該步驟用于測試當兩條執行路徑匯聚時模型的穩定性。整個過程重復直至模型達到穩定。最終，新模型使用Docker容器技術發布，這樣的發布可由其它系統進行調用。

為滿足機器學習工作流中的資源需求，Netflix團隊在Meson中使用了諸如Apache Mesos這樣的資源管理工具。Mesos提供了對CPU、內存、存儲及其它計算資源的任務隔離和抽象，并使用這些特性實現了Mesos任務的擴展和容錯。

Meson中還包括調度器和執行器組件。

Meson調度器: 該組件管理各個工作流的啟動、流控制和運行時間。Meson將內存和CPU需求發送給Mesos，實現對Mesos實際的資源調度的代理。一旦某個執行步驟已就緒可被調度，Meson調度器選取由Mesos提供的適用資源，并將任務發送給Mesos主節點。

Meson執行器: 它是對Mesos執行器的定制，允許開發團隊去維護與Meson的通信通道。這樣架構消息可被發送到Meson調度器，對于長時間運行的任務是十分有用的。Meson執行器也允許用戶數據的傳遞。

Mesos在調度Meson任務時，它在下載了該任務所有的依賴后，在客戶節點上啟動一個Meson執行器。當核心任務被執行時，執行器還關注諸如心跳信息發送、任務完成比例、狀態消息等其它任務的情況。

Meson還提供了基于Scala的DSL，這允許創建用戶定制的工作流。Meson中還具有對原生Spark的支持，這允許在Meson中去監控Spark任務的進程進度。Meson還具備功能去重做失敗的Spark過程，或殺掉執行異常的Spark任務。

Netflix團隊計劃在未來幾個月內開源Meson，并構建Meson相關的社區。

查看英文原文：Meson Workflow Orchestration and Scheduling Framework for Netflix Recommendations