精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:云計算企業動態 → 正文

深度學習落地探討 Amazon SageMaker有望加速

責任編輯:jcao 作者:曹建菊 |來源:企業網D1Net  2020-05-20 11:18:03 原創文章 企業網D1Net

在上周企業網D1Net舉辦的中國能源化工行業數字化轉型線上直播中,中石化集團信息和數字化管理部副總經理李劍鋒的AI數字助理“李小帥”一出來就“驚艷”了全場。“李小帥”是李劍鋒博士精心培育的數字助理,“李小帥”幽默地說“我和李劍鋒博士唯一不同是,他在中石化領工資,而我則全部是義務勞動。“李小帥”代替李劍鋒博士進行了40分鐘口齒清晰、邏輯清楚的全程直播演講。

以機器學習為代表的許多人工智能技術正在快速成熟

這兩年,我們總是被各種各樣的AI應用驚艷到!AI,已經完全融入到了我們的工作與生活,即便最保守的企業在當今都無法忽視人工智能的作用。根據IDC的數據,當前40%的企業數字化轉型項目都會運用人工智能。IDC預計,到2023年中國人工智能市場規模將達到979億美元,2018-2023年復合增長率為28.4%。

根據Gartner發布的2019人工智能新技術成熟度曲線,以機器學習為代表的許多人工智能的技術正在快速成熟。

機器學習:受限于應用場景、技術門檻與實施難度

但我們也看到,機器學習技術之所以幾十年一直沒有得到爆發,除了以往應用場景受限以外,也與機器學習本身的技術積累門檻與實施的難度密切相關。應用場景與技術積累門檻是公認的難題,下面僅以實施難度作為重點討論。

機器學習的實施是一項非常復雜的工作,涉及大量試錯及專業技能。開發者和數據科學家首先必須對數據進行可視化、轉換和預處理,這些數據才能變成算法可以使用的格式,用以訓練模型。即使是簡單的模型,企業也需要花費龐大的算力和大量的訓練時間,并可能需要招聘專門的團隊來管理包含多臺GPU服務器的訓練環境。從選擇和優化算法,到調節影響模型準確性的數百萬個參數,訓練模型的所有階段都需要大量的人力和猜測。然后,在應用程序中部署訓練好的模型時,客戶又需要另一套應用設計和分布式系統方面的專業技能。并且,隨著數據集和變量數的增加,模型也需要變化,客戶又必須一次又一次地重新訓練模型,讓模型從新的信息中學習和進化。所有這些工作都需要大量的專業知識,并耗費龐大的算力、數據存儲和時間成本。而且,由于沒有集成化的工具用于整個機器學習的工作流,機器學習模型的傳統開發方式是復雜、繁復和昂貴的。

大宇無限技術副總裁劉克東對此就深有感觸。劉克東說:“在大宇無限的產品中實現視頻內容的在線推薦,對我們的開發團隊來說是一個巨大的挑戰。構建機器學習系統的整個流程極為復雜,需要大量的開發者耗費很長的時間才有可能完成。”大宇無限是一家專門從事移動應用程序開發的公司,主要為中東、東南亞和拉丁美洲等新興市場提供移動短視頻服務。

制約因素:人才、技術與成本

從發展現狀來看,目前制約以機器學習為代表的人工智能的因素主要有三個:

一是掌握人工智能專業知識的人才不足;

二是構建和擴展人工智能的技術產品有難度;

三是在生產經營中部署人工智能應用費時且成本高。最終導致缺乏低成本、易使用、可擴展的人工智能產品和服務。

換個角度理解,也就是如果能解決上述難題,將能加速人工智能應用的落地。近日亞馬遜云服務(AWS)宣布推出Amazon SageMaker, Amazon SageMaker是一項完全托管的服務,可以幫助開發者和數據科學家快速地規模化構建、訓練和部署機器學習 (ML) 模型。

Amazon SageMaker:可快速構建、訓練和部署的機器學習托管服務

據AWS首席云計算企業戰略顧問張俠博士介紹:Amazon SageMaker消除了機器學習過程中各個步驟的繁重工作,通過預置的Notebook、針對PB級數據集優化的常用算法,以及自動模型調優,AmazonSageMaker大大降低了模型構建和訓練的難度。并且,Amazon SageMaker顯著簡化和加快了模型訓練過程,可以通過自動提供和管理基礎設施來訓練模型和運行推理。同時,Amazon SageMaker最近宣布了多項重要功能和高級特性,讓客戶能夠更輕松地構建、訓練、調優和部署機器學習模型。包括:面向機器學習的集成開發環境(IDE)、彈性筆記本、實驗管理、調試與分析、自動構建模型、概念漂移檢測等等。這些功能封裝在首個面向機器學習的集成開發環境Amazon SageMaker Studio中。集成開發環境 (IDE) 是當前IT界一個重要的概念。

以圖神經網絡(GNN)部署為例:DGL (Deep Graph Library) 圖神經網絡框架是由AWS上海人工智能研究院開發的一個開源代碼庫,旨在簡化圖神經網絡的實現和部署。DGL有助于提高基于GNN的推薦、欺詐檢測和藥物發現等系統的預測準確性。當前,盡管GNN在研究中顯示出了誘人的前景,但是它們的實際應用卻非常有限,這是因為需要復雜的基礎設施來訓練大型圖數據,并且缺乏可靠的、特定領域的模型。開發GNN需要在具有數百萬個節點的的圖上查找和訓練,構建和維護執行如此訓練所需的計算基礎設施非常耗時。Amazon SageMaker的DGL支持,消除了打包軟件依賴項、構建基礎設施和尋找已驗證模型的負擔。這樣,開發者可以在數小時而不是數周或數月內測試和部署GNN。AWS深度學習容器打包了所有軟件依賴項,而且Amazon SageMaker API自動設置和擴展了訓練圖所需的基礎設施。有了已驗證模型的打包庫,開發者可以立即測試最先進的GNN模型,并將它們集成到應用程序中。

大宇無限技術副總裁劉克東表示:“Amazon SageMaker極大地簡化了機器學習系統的構建、訓練和部署流程,使我們無需構建基礎設施,我們的算法工程師只需為Amazon SageMaker準備數據,僅用了三個月的時間就從零完成了整個系統的建設并承受了實際用戶訪問的壓力。”

AWS全方位支持機器學習

實際上,Amazon SageMaker只是AWS機器學習解決方案的一個層面。AWS提供的機器學習解決方案是一個包括三層的服務堆棧。Amazon SageMaker是其中間層。在這一層,主要通過Amazon SageMaker這一完全托管的服務,消除機器學習過程中的繁重工作,讓開發高質量模型變得更加輕松。

三層服務堆棧的底層,為想要自己構建算法或開發新框架的客戶提供靈活選擇,客戶可以選擇使用TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod和Keras等機器學習框架。在這一層,AWS 專注于性能、靈活性,降低成本,以便任何用戶都可以使用最新的基礎設施,對多種框架進行試驗。借助AWS,客戶可以訪問針對機器學習的、最強大的 GPU 實例,應對最苛刻的應用場景。

在三層服務堆棧的頂層,AWS提供了訓練好的人工智能服務,這些服務主要解決與人類認知相關的典型問題。例如,計算機視覺方面的服務,可以識別圖像或視頻中的對象、人員、文本、場景、活動和不安全或不適宜的內容。個性化推薦服務可以從庫存中向消費者推薦多種產品和服務。客戶可以直接在其應用中調用AWS提供的這些人工智能服務,而無需關注服務背后的機器學習模型。

AWS也可根據不同類型客戶的需求,提供了全面的機器學習解決方案。

據悉,Amazon SageMaker已由西云數據運營的AWS中國 (寧夏) 區域和光環新網運營的AWS中國(北京)區域正式上線運營。

關鍵字:Amazon深度學習Amazon SageMaker

原創文章 企業網D1Net

x 深度學習落地探討 Amazon SageMaker有望加速 掃一掃
分享本文到朋友圈
當前位置:云計算企業動態 → 正文

深度學習落地探討 Amazon SageMaker有望加速

責任編輯:jcao 作者:曹建菊 |來源:企業網D1Net  2020-05-20 11:18:03 原創文章 企業網D1Net

在上周企業網D1Net舉辦的中國能源化工行業數字化轉型線上直播中,中石化集團信息和數字化管理部副總經理李劍鋒的AI數字助理“李小帥”一出來就“驚艷”了全場。“李小帥”是李劍鋒博士精心培育的數字助理,“李小帥”幽默地說“我和李劍鋒博士唯一不同是,他在中石化領工資,而我則全部是義務勞動。“李小帥”代替李劍鋒博士進行了40分鐘口齒清晰、邏輯清楚的全程直播演講。

以機器學習為代表的許多人工智能技術正在快速成熟

這兩年,我們總是被各種各樣的AI應用驚艷到!AI,已經完全融入到了我們的工作與生活,即便最保守的企業在當今都無法忽視人工智能的作用。根據IDC的數據,當前40%的企業數字化轉型項目都會運用人工智能。IDC預計,到2023年中國人工智能市場規模將達到979億美元,2018-2023年復合增長率為28.4%。

根據Gartner發布的2019人工智能新技術成熟度曲線,以機器學習為代表的許多人工智能的技術正在快速成熟。

機器學習:受限于應用場景、技術門檻與實施難度

但我們也看到,機器學習技術之所以幾十年一直沒有得到爆發,除了以往應用場景受限以外,也與機器學習本身的技術積累門檻與實施的難度密切相關。應用場景與技術積累門檻是公認的難題,下面僅以實施難度作為重點討論。

機器學習的實施是一項非常復雜的工作,涉及大量試錯及專業技能。開發者和數據科學家首先必須對數據進行可視化、轉換和預處理,這些數據才能變成算法可以使用的格式,用以訓練模型。即使是簡單的模型,企業也需要花費龐大的算力和大量的訓練時間,并可能需要招聘專門的團隊來管理包含多臺GPU服務器的訓練環境。從選擇和優化算法,到調節影響模型準確性的數百萬個參數,訓練模型的所有階段都需要大量的人力和猜測。然后,在應用程序中部署訓練好的模型時,客戶又需要另一套應用設計和分布式系統方面的專業技能。并且,隨著數據集和變量數的增加,模型也需要變化,客戶又必須一次又一次地重新訓練模型,讓模型從新的信息中學習和進化。所有這些工作都需要大量的專業知識,并耗費龐大的算力、數據存儲和時間成本。而且,由于沒有集成化的工具用于整個機器學習的工作流,機器學習模型的傳統開發方式是復雜、繁復和昂貴的。

大宇無限技術副總裁劉克東對此就深有感觸。劉克東說:“在大宇無限的產品中實現視頻內容的在線推薦,對我們的開發團隊來說是一個巨大的挑戰。構建機器學習系統的整個流程極為復雜,需要大量的開發者耗費很長的時間才有可能完成。”大宇無限是一家專門從事移動應用程序開發的公司,主要為中東、東南亞和拉丁美洲等新興市場提供移動短視頻服務。

制約因素:人才、技術與成本

從發展現狀來看,目前制約以機器學習為代表的人工智能的因素主要有三個:

一是掌握人工智能專業知識的人才不足;

二是構建和擴展人工智能的技術產品有難度;

三是在生產經營中部署人工智能應用費時且成本高。最終導致缺乏低成本、易使用、可擴展的人工智能產品和服務。

換個角度理解,也就是如果能解決上述難題,將能加速人工智能應用的落地。近日亞馬遜云服務(AWS)宣布推出Amazon SageMaker, Amazon SageMaker是一項完全托管的服務,可以幫助開發者和數據科學家快速地規模化構建、訓練和部署機器學習 (ML) 模型。

Amazon SageMaker:可快速構建、訓練和部署的機器學習托管服務

據AWS首席云計算企業戰略顧問張俠博士介紹:Amazon SageMaker消除了機器學習過程中各個步驟的繁重工作,通過預置的Notebook、針對PB級數據集優化的常用算法,以及自動模型調優,AmazonSageMaker大大降低了模型構建和訓練的難度。并且,Amazon SageMaker顯著簡化和加快了模型訓練過程,可以通過自動提供和管理基礎設施來訓練模型和運行推理。同時,Amazon SageMaker最近宣布了多項重要功能和高級特性,讓客戶能夠更輕松地構建、訓練、調優和部署機器學習模型。包括:面向機器學習的集成開發環境(IDE)、彈性筆記本、實驗管理、調試與分析、自動構建模型、概念漂移檢測等等。這些功能封裝在首個面向機器學習的集成開發環境Amazon SageMaker Studio中。集成開發環境 (IDE) 是當前IT界一個重要的概念。

以圖神經網絡(GNN)部署為例:DGL (Deep Graph Library) 圖神經網絡框架是由AWS上海人工智能研究院開發的一個開源代碼庫,旨在簡化圖神經網絡的實現和部署。DGL有助于提高基于GNN的推薦、欺詐檢測和藥物發現等系統的預測準確性。當前,盡管GNN在研究中顯示出了誘人的前景,但是它們的實際應用卻非常有限,這是因為需要復雜的基礎設施來訓練大型圖數據,并且缺乏可靠的、特定領域的模型。開發GNN需要在具有數百萬個節點的的圖上查找和訓練,構建和維護執行如此訓練所需的計算基礎設施非常耗時。Amazon SageMaker的DGL支持,消除了打包軟件依賴項、構建基礎設施和尋找已驗證模型的負擔。這樣,開發者可以在數小時而不是數周或數月內測試和部署GNN。AWS深度學習容器打包了所有軟件依賴項,而且Amazon SageMaker API自動設置和擴展了訓練圖所需的基礎設施。有了已驗證模型的打包庫,開發者可以立即測試最先進的GNN模型,并將它們集成到應用程序中。

大宇無限技術副總裁劉克東表示:“Amazon SageMaker極大地簡化了機器學習系統的構建、訓練和部署流程,使我們無需構建基礎設施,我們的算法工程師只需為Amazon SageMaker準備數據,僅用了三個月的時間就從零完成了整個系統的建設并承受了實際用戶訪問的壓力。”

AWS全方位支持機器學習

實際上,Amazon SageMaker只是AWS機器學習解決方案的一個層面。AWS提供的機器學習解決方案是一個包括三層的服務堆棧。Amazon SageMaker是其中間層。在這一層,主要通過Amazon SageMaker這一完全托管的服務,消除機器學習過程中的繁重工作,讓開發高質量模型變得更加輕松。

三層服務堆棧的底層,為想要自己構建算法或開發新框架的客戶提供靈活選擇,客戶可以選擇使用TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod和Keras等機器學習框架。在這一層,AWS 專注于性能、靈活性,降低成本,以便任何用戶都可以使用最新的基礎設施,對多種框架進行試驗。借助AWS,客戶可以訪問針對機器學習的、最強大的 GPU 實例,應對最苛刻的應用場景。

在三層服務堆棧的頂層,AWS提供了訓練好的人工智能服務,這些服務主要解決與人類認知相關的典型問題。例如,計算機視覺方面的服務,可以識別圖像或視頻中的對象、人員、文本、場景、活動和不安全或不適宜的內容。個性化推薦服務可以從庫存中向消費者推薦多種產品和服務。客戶可以直接在其應用中調用AWS提供的這些人工智能服務,而無需關注服務背后的機器學習模型。

AWS也可根據不同類型客戶的需求,提供了全面的機器學習解決方案。

據悉,Amazon SageMaker已由西云數據運營的AWS中國 (寧夏) 區域和光環新網運營的AWS中國(北京)區域正式上線運營。

關鍵字:Amazon深度學習Amazon SageMaker

原創文章 企業網D1Net

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 高陵县| 固安县| 阿克陶县| 增城市| 汉阴县| 青州市| 仁布县| 盱眙县| 宁安市| 巴林右旗| 抚顺市| 琼中| 景洪市| 涟源市| 平原县| 额敏县| 林甸县| 古蔺县| 柏乡县| 宁波市| 韶关市| 隆昌县| 和田市| 达日县| 偏关县| 鞍山市| 霍州市| 磐石市| 荆门市| 尉氏县| 普兰店市| 延庆县| 奇台县| 合江县| 宝清县| 赤壁市| 荥阳市| 青神县| 苏尼特右旗| 三门县| 临高县|