大數據可謂是當紅炸子雞,對于它的應用場景,人們已經做了充分的想象,很多也在逐步落地,比如智慧醫療。醫療行業正更多的融入人工智慧、傳感技術等高科技,使醫療服務走向真正意義的智能化。
面對不同受眾,智慧醫療有著不同的內涵。對于公眾,意味著更便捷可及的醫療服務;對于醫護人員,不僅可以提高診療速度,還可以讓診療更加精準,通過大量的數據分析支持他們的診斷。這里就不得不提到專家系統,它應該是一個典型的醫療應用,是大數據和人工智能的緊密結合。
專家系統是一個具有大量的專門知識與經驗的程序系統,它應用人工智能技術和計算機技術,根據某領域一個或多個專家提供的知識和經驗,進行推理和判斷,模擬人類專家的決策過程,以便解決那些需要人類專家處理的復雜問題。簡言之,專家系統是一種模擬人類專家解決領域問題的計算機程序系統。專家系統的發展已經歷了3個階段,正向第四代過渡和發展。第一代專家系統(dendral、macsyma等)以高度專業化、求解專門問題的能力強為特點。但在體系結構的完整性、可移植性、系統的透明性和靈活性等方面存在缺陷,求解問題的能力弱。第二代專家系統(mycin、casnet、prospector、hearsay等)屬單學科專業型、應用型系統,其體系結構較完整,移植性方面也有所改善,而且在系統的人機接口、解釋機制、知識獲取技術、不確定推理技術、增強專家系統的知識表示和推理方法的啟發性、通用性等方面都有所改進。第三代專家系統屬多學科綜合型系統,采用多種人工智能語言,綜合采用各種知識表示方法和多種推理機制及控制策略,并開始運用各種知識工程語言、骨架系統及專家系統開發工具和環境來研制大型綜合專家系統。在總結前三代專家系統的設計方法和實現技術的基礎上,已開始采用大型多專家協作系統、多種知識表示、綜合知識庫、自組織解題機制、多學科協同解題與并行推理、專家系統工具與環境、人工神經網絡知識獲取及學習機制等最新人工智能技術來實現具有多知識庫、多主體的第四代專家系統。
筆者嘗試使用SmartMining敏捷挖掘桌面版來探索依托大數據如何構建專家診病模型。之所以選擇SmartMining,是因為它“簡單而不失內涵”。它的操作真的夠簡單,全程可視化,不用編程,這點對筆者的吸引力很大。當然,喜歡R語言的朋友也可以在這里找到感覺,因為它集成了R,算法很豐富。而且SmartMining還很貼心的內置了很多示例,讓用戶不費力就能進入數據挖掘的世界。
專家診病模型就是SmartMining自帶示例之一,是以決策樹算法為背景,通過可視化探索數據實現決策樹同樣的計算結果。配套的示例教程對整個過程的講解清晰且生動有趣,筆者跟隨教程進行了學習,從中大大受益。
從專家系統模型的知識點來說,有這么幾個需要提醒:
1、數據質量和完整性永遠是數據挖掘工作中不可回避的基礎問題。沒有足夠的歷史數據量,或者數據質量(本例中可理解為誤診)不可信,都會造成機器學習的失敗(這個道理就是“Gabagein,gabageout”)。因此、各種數據的探索、統計、處理工作是非常關鍵的!
2、建模不是一次性的工作,需要反復的訓練、評估和優化。通常優化模型有三種辦法:第一,增加新數據,以便引入更多重要的影響因素;第二,嘗試其他模型,以便找到更適合的模型;第三,優化輸入,即基于已有數據派生更多重要的變量,或者過濾不重要的變量。這三者中,第一種最難以實現,一般企業的數據是有限的,企業內部可用數據及外部可用網絡數據,在項目需求調研階段就應該明確,而企業外部行業數據難以獲取。第二種最容易嘗試,所有可用模型可以快速嘗試一遍,這個是每個項目中都必做的,但卻不是最重要的方法。而第三種方法才是項目中最可行,也是最重要的辦法。
3、無論何時,都要把商業應用作為始終的目標,不要出現“過擬合”、“追求漂亮”和“炫特技”,能用簡單圖形分析的,絕不用算法,能用成熟模型的,盡量不要自己去編程序!
此下是安利部分示例內容,感興趣的朋友可以訪問鏈接http://wiki.smartbi.com.cn/pages/viewpage.action?pageId=17958343查看詳細內容。
1 可視化界面。無須編碼,通過拖拽、配置功能節點,以工作流的形式展現挖掘過程,挖掘思路清晰可見。
2 支持各種數據源。SmartMining可導入各種類型數據,該示例的數據源是csv文件。
3 圖形化探索。數據挖掘的一個核心工作就是圖形化探索,SmartMining使用eCharts進行可視化展現,用戶可以視覺愉悅地尋找圖形中的規律,打開挖掘思路。
4 算法豐富,適用不同層次用戶。SmartMining不僅集成了R,而且在很多模型和算法中都有自動選擇模型和專家調整模型兩種方式。對于一般應用,只需要按自動選擇模型方式運行就可以生成滿意結果,對于專業分析人員,則可以通過專家調整模型方式調整模型中的相應參數,衍生出很多種不同的模型,從而生成更加理想的模型。
專家診病模型讓筆者體驗了一把用AOSP-SM方法進行數據挖掘的魅力,通過實際操作也感受到了軟件工具的人性化和強大功能。相信看了詳細步驟后,您不僅能學會實際的數據挖掘操作,更可以體會專家作者十多年的數據挖掘建模的體會和經驗,學以致用,將這些實用的技術方法用在日常工作當中!