據(jù)說(shuō),每個(gè)用過(guò)水果機(jī)的小伙伴
都被Siri調(diào)戲過(guò)……
該調(diào)戲效果無(wú)法描述
請(qǐng)親身試驗(yàn)
如果還沒(méi)有被調(diào)戲夠的親們,不用著急,上個(gè)月iOS 11新特性已經(jīng)曝光:Siri深度集成機(jī)器學(xué)習(xí)功能、更智能。意思就是,你可能會(huì)被調(diào)戲得更慘。
機(jī)器學(xué)習(xí)你是誰(shuí)!
你為什么要教壞我們Siri!
關(guān)于機(jī)器學(xué)習(xí)還有一個(gè)我們很熟悉的例子,它讓人工智能和機(jī)器學(xué)習(xí)的概念進(jìn)入了公眾的視野:2016 年 3 月,谷歌旗下的 AlphaGo挑戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石,并將其打敗。
(AlphaGo友情出演)
機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科,涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論……等多門學(xué)科。它是專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能,是人工智能的核心。
稍微笨點(diǎn)都看不懂
然鵝,面對(duì)機(jī)器學(xué)習(xí)所需要模型的多樣性和專業(yè)軟件的復(fù)雜性,不同的應(yīng)用場(chǎng)景所需要的模型和軟件也會(huì)有所不同。這就讓機(jī)器學(xué)習(xí)服務(wù)的運(yùn)行環(huán)境部署起來(lái)非常困難,有著極高的技術(shù)準(zhǔn)入門檻,專業(yè)的機(jī)器學(xué)習(xí)軟件操作步驟繁瑣,非專業(yè)人士需要經(jīng)常長(zhǎng)時(shí)間學(xué)習(xí)才可熟練使用。隨著科技不斷發(fā)展,人工智能系統(tǒng)的運(yùn)行速度、存儲(chǔ)容量、數(shù)據(jù)擁有量將會(huì)繼續(xù)大幅增加,機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景會(huì)越來(lái)越多。
“怎么辦啊!
我不會(huì)部署機(jī)學(xué)習(xí)的運(yùn)行環(huán)境啊!”
不用絕望,要解決日益增多的應(yīng)用需求與克服復(fù)雜的技術(shù)準(zhǔn)入門檻,品高云教你一招,輕松部署機(jī)器學(xué)習(xí)服務(wù)。
品高云機(jī)器學(xué)習(xí)服務(wù)介紹
品高云在 V7.0版本中推出了機(jī)器學(xué)習(xí)服務(wù)(Machine Learning)。
機(jī)器學(xué)習(xí)服務(wù)的實(shí)現(xiàn)是通過(guò)在品高云 OS 上創(chuàng)建彈性計(jì)算集群,自動(dòng)配置機(jī)器學(xué)習(xí)算法,提供了二元、多元和回歸訓(xùn)練模型,可一鍵式獲取機(jī)器學(xué)習(xí)環(huán)境能力,用戶無(wú)需學(xué)習(xí)復(fù)雜的機(jī)器學(xué)習(xí)算法和技術(shù),即可在云平臺(tái)上可通過(guò)向?qū)浇缑婵焖賱?chuàng)建機(jī)器學(xué)習(xí)模型、對(duì)自有數(shù)據(jù)源進(jìn)行預(yù)測(cè),解決用戶對(duì)機(jī)器學(xué)習(xí)軟硬件環(huán)境不熟悉導(dǎo)致配置困難的問(wèn)題。可以應(yīng)用到購(gòu)買力趨勢(shì)預(yù)測(cè)、欺詐行為檢測(cè)、疾病判斷、房?jī)r(jià)預(yù)測(cè)、電影類型判別,產(chǎn)品推薦等場(chǎng)景。
功能優(yōu)勢(shì)
3.1 輕松創(chuàng)建學(xué)習(xí)環(huán)境
品高云的機(jī)器學(xué)習(xí)服務(wù)已將算法內(nèi)置為容器鏡像,并將復(fù)雜的機(jī)器學(xué)習(xí)算法集成為簡(jiǎn)單的選項(xiàng)。用戶無(wú)需學(xué)習(xí)復(fù)雜的機(jī)器學(xué)習(xí)技術(shù),只需通過(guò)引導(dǎo)式的界面設(shè)置,便可一鍵式獲取機(jī)器學(xué)習(xí)集群環(huán)境,快速創(chuàng)建機(jī)器學(xué)習(xí)模型,解決機(jī)器學(xué)習(xí)軟硬件環(huán)境配置困難的問(wèn)題。
3.2 支持模型評(píng)估與圖形化展示
機(jī)器學(xué)習(xí)服務(wù)在創(chuàng)建模型成功后會(huì)自動(dòng)生成一份模型的評(píng)估報(bào)表,報(bào)表內(nèi)不僅會(huì)有對(duì)模型的性能指標(biāo)的測(cè)算,還提供圖形化的對(duì)比展示,用戶可直觀地觀察機(jī)器預(yù)測(cè)出的數(shù)據(jù)與原始數(shù)據(jù)的區(qū)別對(duì)比情況,以幫助用戶做出更好的判斷。
3.3 一站式機(jī)器學(xué)習(xí)流程
品高云機(jī)器學(xué)習(xí)平臺(tái)提供一站式數(shù)據(jù)挖掘流程,用戶將自有數(shù)據(jù)上傳之后,無(wú)需做任何線下處理即可實(shí)現(xiàn)業(yè)務(wù)場(chǎng)景全流程的工作。云平臺(tái)提供數(shù)據(jù)上傳、容器算法、模型制作和評(píng)估、機(jī)器學(xué)習(xí)預(yù)測(cè)等全套流程,且這一切無(wú)需用戶支付額外的軟硬件費(fèi)用,全部只需在云平臺(tái)上實(shí)現(xiàn)。
3.4 豐富的算法模板
品高云機(jī)器學(xué)習(xí)服務(wù)支持深度學(xué)習(xí)和非深度學(xué)習(xí)的預(yù)測(cè)算法。用戶根據(jù)自有數(shù)據(jù)形式,只需選用統(tǒng)一的鏡像,立刻便可進(jìn)行二元預(yù)測(cè)、多元預(yù)測(cè)、線性回歸和圖片識(shí)別等預(yù)測(cè)。平臺(tái)會(huì)根據(jù)用戶數(shù)據(jù)類型,自動(dòng)選用合適算法。可以應(yīng)用在購(gòu)買力趨勢(shì)預(yù)測(cè)、欺詐行為檢測(cè)、疾病判斷、房?jī)r(jià)預(yù)測(cè)、電影類型判別、產(chǎn)品推薦等多種業(yè)務(wù)場(chǎng)景上。
技術(shù)架構(gòu)
機(jī)器學(xué)習(xí)服務(wù)技術(shù)架構(gòu)圖
4.1HPC Ready 云設(shè)施
機(jī)器學(xué)習(xí)服務(wù)是基于品高云的基礎(chǔ)設(shè)施構(gòu)建,云平臺(tái)提供了機(jī)器學(xué)習(xí)所需的高性能硬件資源、高性能云套件和對(duì)象存儲(chǔ)服務(wù)。用戶可以使用以 CSV 文件(數(shù)據(jù))或圖片格式存放在對(duì)象存儲(chǔ) S3 的數(shù)據(jù)集中,即可利用該信息源來(lái)創(chuàng)建和使用機(jī)器學(xué)習(xí)模型。通過(guò)底層調(diào)用基礎(chǔ)服務(wù) EC2,通過(guò)機(jī)器學(xué)習(xí)鏡像和集群配置,搭建機(jī)器學(xué)習(xí)集群,便可以在集群中執(zhí)行訓(xùn)練預(yù)測(cè)等任務(wù)(現(xiàn)階段支持?jǐn)?shù)據(jù)預(yù)測(cè)進(jìn)行集群配置)。
4.2 機(jī)器學(xué)習(xí)服務(wù)層
機(jī)器學(xué)習(xí)服務(wù)屬于 IaaS+服務(wù), 機(jī)器學(xué)習(xí)使用容器集群管理引擎管理機(jī)器學(xué)習(xí)引擎和機(jī)器學(xué)習(xí)控制器。機(jī)器學(xué)習(xí)引擎主要負(fù)責(zé)模型的創(chuàng)立與評(píng)估,以及預(yù)測(cè)的管理;機(jī)器學(xué)習(xí)控制器主要處理任務(wù)分發(fā)、數(shù)據(jù)處理、狀態(tài)管理等控制工作。
4.3 展示操作層
機(jī)器學(xué)習(xí)分為非深度學(xué)習(xí)(數(shù)據(jù)判斷)和深度學(xué)習(xí)(圖片識(shí)別)。非深度學(xué)習(xí)會(huì)根據(jù)數(shù)據(jù)源中的預(yù)測(cè)數(shù)據(jù)類型(二元、多元、數(shù)值型),選用合適的模型(二元、多元、回歸模型),搭建好集群環(huán)境后進(jìn)行模型數(shù)據(jù)訓(xùn)練;深度學(xué)習(xí)是根據(jù)用戶提供的圖片復(fù)雜度選擇神經(jīng)網(wǎng)絡(luò)類型,結(jié)合用戶的相關(guān)配置進(jìn)行模型訓(xùn)練。機(jī)器學(xué)習(xí)在模型訓(xùn)練結(jié)束后,會(huì)自動(dòng)生成評(píng)估,可對(duì)比預(yù)測(cè)結(jié)果和原始數(shù)據(jù),計(jì)算相關(guān)度量值,評(píng)估模型的準(zhǔn)確度。最后用戶可根據(jù)實(shí)際模型評(píng)估情況,有針對(duì)性地進(jìn)行數(shù)據(jù)預(yù)測(cè)。
功能實(shí)踐:
地鐵碳滑板數(shù)據(jù)預(yù)測(cè)
地鐵在每天結(jié)束運(yùn)營(yíng)后會(huì)進(jìn)行設(shè)備的檢修維護(hù),其中碳滑板的檢查就是一項(xiàng)重要的內(nèi)容,碳滑板是受電弓的弓頭上幾塊可拆卸的碳或者粉末合金的導(dǎo)電性滑板,用來(lái)與接觸網(wǎng)接觸取電,質(zhì)地較軟。受電弓在與接觸網(wǎng)摩擦?xí)r主要的損耗在碳滑板上,當(dāng)磨耗到限時(shí)就需要進(jìn)行人工更換。因此,檢查人員會(huì)定期對(duì)碳滑板進(jìn)行檢查,當(dāng)達(dá)到更換標(biāo)準(zhǔn)時(shí)進(jìn)行更換。每次進(jìn)行更換都會(huì)記錄當(dāng)前車號(hào)、裝車厚度、裝車時(shí)間、運(yùn)營(yíng)天數(shù)、運(yùn)營(yíng)公里數(shù)、磨損厚度等。
機(jī)器學(xué)習(xí)可利用累積記下來(lái)的碳滑板更換的歷史數(shù)據(jù)進(jìn)行訓(xùn)練,將訓(xùn)練出來(lái)的模型對(duì)碳化板未來(lái)磨損程度進(jìn)行預(yù)測(cè),輔助人工進(jìn)行碳滑板定期更換測(cè)量提供參考。
某城市地鐵的碳滑板的累計(jì)數(shù)據(jù)整理如下:
接下來(lái)通過(guò)如下步驟來(lái)驗(yàn)證品高云中的機(jī)器學(xué)習(xí)服務(wù)功能:
本次功能實(shí)踐目的是對(duì)地鐵碳滑板的磨損程度進(jìn)行數(shù)據(jù)預(yù)測(cè),并通過(guò)預(yù)測(cè)值與實(shí)際值相對(duì)比以驗(yàn)證機(jī)器學(xué)習(xí)的準(zhǔn)確性。
5.1 容器管理
這個(gè)環(huán)節(jié)主要管理和配置機(jī)器學(xué)習(xí)容器集群所需的部署模板,配置機(jī)器學(xué)習(xí)服務(wù)的實(shí)例資源。
1. 進(jìn)入【高級(jí)服務(wù)→機(jī)器學(xué)習(xí)→機(jī)器學(xué)習(xí)容器管理】,進(jìn)入機(jī)器學(xué)習(xí)容器管理頁(yè)面可對(duì)已有容器進(jìn)行管理操作。
圖 1 機(jī)器學(xué)習(xí)容器管理頁(yè)面
2. 點(diǎn)擊“新增機(jī)器學(xué)習(xí)容器”按鈕,彈出新增機(jī)器學(xué)習(xí)容器頁(yè)面。
圖 2 新增機(jī)器學(xué)習(xí)容器頁(yè)面
5.2 數(shù)據(jù)源的管理
機(jī)器學(xué)習(xí)需要輸入歷史數(shù)據(jù)進(jìn)行模型訓(xùn)練或者數(shù)據(jù)預(yù)測(cè),歷史數(shù)據(jù)源都在 S3 存儲(chǔ)上。因此,數(shù)據(jù)源管理的目的是通過(guò)讀取存儲(chǔ)在 S3 上的基礎(chǔ)數(shù)據(jù)文件,推測(cè)目標(biāo)數(shù)據(jù)列的數(shù)據(jù)類型。
進(jìn)入【高級(jí)服務(wù)→機(jī)器學(xué)習(xí)→數(shù)據(jù)源管理】,進(jìn)入數(shù)據(jù)源管理頁(yè)面可對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行管理操作。
圖 3 數(shù)據(jù)源管理頁(yè)面
點(diǎn)擊“新增數(shù)據(jù)源”按鈕,進(jìn)入新增數(shù)據(jù)源頁(yè)面。
首先,選擇數(shù)據(jù)源類型,以便確認(rèn)使用的機(jī)器學(xué)習(xí)框架。根據(jù)地鐵碳滑板的數(shù)據(jù)類型我們選擇數(shù)值預(yù)測(cè)。
圖 4 數(shù)據(jù)源類型選擇頁(yè)面
第二步,輸入數(shù)據(jù)源信息。填入 S3 數(shù)據(jù)源地址信息及數(shù)據(jù)源名稱。數(shù)據(jù)源是整理好的 csv 文件,需要事先上傳至 S3 存儲(chǔ)。
圖 5 數(shù)據(jù)源信息頁(yè)面
第三步,進(jìn)入數(shù)據(jù)集管理頁(yè)面。系統(tǒng)自動(dòng)讀取 csv 的表頭及部分?jǐn)?shù)據(jù)信息,并自動(dòng)根據(jù)數(shù)據(jù)類型進(jìn)行分類,可以設(shè)置數(shù)值類型(數(shù)字)、文本類型(文本數(shù)據(jù))、二元類型(0 和 1)、分類類型(該列只有幾種類型時(shí),一般可作為標(biāo)識(shí)列)。trainNo 列為分類類型,其他為數(shù)值類型。設(shè)置數(shù)據(jù)類型是為了數(shù)據(jù)訓(xùn)練時(shí)對(duì)數(shù)據(jù)更準(zhǔn)確的訓(xùn)練。
圖 6 數(shù)據(jù)集頁(yè)面
接下來(lái)設(shè)置 wearThickness 為預(yù)測(cè)目標(biāo),設(shè)置預(yù)測(cè)目標(biāo)是為了讓機(jī)器學(xué)習(xí)服務(wù)知道最終訓(xùn)練是為了得出此目標(biāo)列而執(zhí)行的。
圖 7 設(shè)置預(yù)測(cè)目標(biāo)頁(yè)面
最后,設(shè)置 trainNo 為標(biāo)識(shí)列,標(biāo)識(shí)列是為了在預(yù)測(cè)數(shù)據(jù)結(jié)果時(shí),加上唯一標(biāo)識(shí),以便用戶將預(yù)測(cè)結(jié)果和原始目標(biāo)進(jìn)行比對(duì)。默認(rèn)不填則會(huì)取列表的第一行作為標(biāo)識(shí)列。
圖 8 設(shè)置標(biāo)識(shí)列頁(yè)面
通過(guò)以上操作完成數(shù)據(jù)源的創(chuàng)建,完成后可預(yù)覽創(chuàng)建的數(shù)據(jù)源信息。
圖 9 數(shù)據(jù)源預(yù)覽頁(yè)面
5.3 模型的管理及評(píng)估
機(jī)器學(xué)習(xí)的模型創(chuàng)建前提是已經(jīng)有數(shù)據(jù)源了,根據(jù)數(shù)據(jù)源目標(biāo)列,機(jī)器學(xué)習(xí)會(huì)自動(dòng)選擇模型來(lái)進(jìn)行數(shù)據(jù)訓(xùn)練,數(shù)據(jù)類型為二元類型則對(duì)應(yīng)二元模型,多類類型則對(duì)應(yīng)多類模型,數(shù)值類型則對(duì)應(yīng)回歸模型。并對(duì)創(chuàng)建好的模型進(jìn)行評(píng)估已確定模型的適用性。
1. 新建模型。
進(jìn)入【高級(jí)服務(wù)→機(jī)器學(xué)習(xí)→模型管理】,在模型管理頁(yè)面可對(duì)現(xiàn)有模型進(jìn)行管理操作。
圖 10 模型管理頁(yè)面
點(diǎn)擊“新增模型”按鈕,進(jìn)入新增模型頁(yè)面。
首先,輸入數(shù)據(jù),根據(jù)上面創(chuàng)建的數(shù)據(jù)源,選擇要訓(xùn)練的數(shù)據(jù)。
圖 11 導(dǎo)入模型數(shù)據(jù)頁(yè)面
第二步,模型設(shè)置。根據(jù)數(shù)據(jù)源情況自動(dòng)識(shí)別訓(xùn)練的模型和預(yù)測(cè)目標(biāo)列。可以設(shè)置模型名稱和模型創(chuàng)建后自動(dòng)生成的評(píng)估名稱。
圖 12 模型設(shè)置頁(yè)面
第三步,容器設(shè)置,選擇云網(wǎng)絡(luò)、子網(wǎng)、實(shí)例規(guī)模和創(chuàng)建的實(shí)例數(shù)量(實(shí)例是用來(lái)進(jìn)行模型訓(xùn)練及預(yù)測(cè))設(shè)置容器信息。容器信息設(shè)置完成后及模型創(chuàng)建成功。
圖 13 容器設(shè)置頁(yè)面
2. 模型評(píng)估。
模型創(chuàng)建成功后自動(dòng)生成評(píng)估,機(jī)器學(xué)習(xí)服務(wù)會(huì)根據(jù)訓(xùn)練的模型,評(píng)估出該模型的可適用程度,用戶可根據(jù)這個(gè)標(biāo)準(zhǔn)來(lái)衡量模型預(yù)測(cè)出來(lái)產(chǎn)生的誤差及接受的范圍程度。
在【高級(jí)服務(wù)→機(jī)器學(xué)習(xí)→評(píng)估管理】可以對(duì)新建模型進(jìn)行評(píng)估。
模型評(píng)估完成后可預(yù)覽評(píng)估結(jié)果。
圖 14 模型評(píng)估結(jié)果信息
點(diǎn)擊圖表展示 Tab 按鈕,即可展示圖表,該圖顯示出預(yù)測(cè)數(shù)據(jù)和歷史真實(shí)數(shù)據(jù)的對(duì)比情況。
圖 15 預(yù)測(cè)數(shù)據(jù)和歷史真實(shí)數(shù)據(jù)的對(duì)比信息
從評(píng)估結(jié)果可以看到,模型的精準(zhǔn)誤差為 0.0525(越接近 0 誤差越低),并且,通過(guò)圖表分析可以看到通過(guò)模型計(jì)算的數(shù)據(jù)與實(shí)際數(shù)據(jù)基本一致,即說(shuō)明模型基本適用于本次數(shù)值預(yù)測(cè)。
5.4 預(yù)測(cè)的管理
云平臺(tái)提供預(yù)測(cè)功能,根據(jù)已經(jīng)訓(xùn)練好的模型進(jìn)行數(shù)據(jù)預(yù)測(cè),根據(jù)預(yù)測(cè)的結(jié)果來(lái)輔助人工進(jìn)行判斷。
進(jìn)入【高級(jí)服務(wù)→機(jī)器學(xué)習(xí)→預(yù)測(cè)管理】,可對(duì)現(xiàn)有預(yù)測(cè)進(jìn)行管理。
首先,選擇在前面創(chuàng)建的預(yù)測(cè)模型。
圖 16 選擇預(yù)測(cè)數(shù)據(jù)需要的模型
下一步,利用所選擇的模型,根據(jù)歷史數(shù)據(jù)進(jìn)行預(yù)測(cè),可得到預(yù)測(cè)結(jié)果。
圖 17 數(shù)據(jù)預(yù)測(cè)結(jié)果
預(yù)測(cè)值為 13.67,與歷史數(shù)據(jù)相比,兩者之間的差別標(biāo)準(zhǔn)差范圍內(nèi),可以判定預(yù)測(cè)結(jié)果基本準(zhǔn)確。
下面是機(jī)器學(xué)習(xí)服務(wù)的demo視頻
目前,機(jī)器學(xué)習(xí)服務(wù)已經(jīng)在品高云 7.0 版本中正式發(fā)布,對(duì)政府、企業(yè)、高校等用戶而言可以通過(guò)品高云一鍵獲取機(jī)器學(xué)習(xí)的環(huán)境,而無(wú)需關(guān)心機(jī)器學(xué)習(xí)軟件安裝繁瑣、硬件環(huán)境配置困難的問(wèn)題。
有意愿部署該項(xiàng)服務(wù)或了解更多品高云產(chǎn)品信息的客官,可以聯(lián)系溫柔可人的品高云官方客服——小表妹哦~