當前，各行各業正在構建機器學習能力，以實施或增強其數字業務場景。我們認為，現實中企業所實施的機器學習項目存在較高的失敗率，主要的失敗模式可以歸納為以下十類：設立了錯誤的目標、忽視業務原則、資金和資源投入不當、急于求成、項目路線圖有較大缺陷、項目缺乏治理、采用了錯誤的技術平臺和路線、對場景所需的數據缺乏了解、數據質量不高、人才培養計劃與實際的需求偏離。
本文分析了這些失敗因素如何對機器學習項目產生了較大的影響，以及如何通過一套最佳實踐來規避這些問題。
在本文中，我們以PAM公司為例，采用端到端的方法，從業務能力矩陣出發，逐步確定業務、應用、數據和技術解決方案，通過這個例子，我們闡述了如何規避以上問題的有效方法，以及如何通過架構的演進方法來持續關注和采用最新的AI技術。
這個分析過程和解決方案適用于多個行業，尤其??是制造業，包括B2C 和 B2B 業務模式，它涵蓋了基于深度學習、聯邦學習、大規模以及相關的行業問題。
問題陳述
企業不斷尋找機器學習相關的解決方案的目的是來帶來價值，很多是現有ML服務的用例，例如產品推薦、MFA人臉識別和停車服務的車牌識別、使用ChatGPT提供客服等等。
然而，現實當中，企業往往會步入失敗模式而導致一系列挑戰，以下對此做出歸納：
一：設立了錯誤的目標：某些技術在某些任務中可以替代人類工作，但實際上，由于AI需要大量數據進行訓練，需要許多人力進行數據收集和預處理，并且一旦有疑問，需要更多的人來調整和診斷系統，因此節省人力成本的目標難以實現。
二：忽視架構原則：加快生產，節約成本，導致質量損失或者產生安全隱患，以及對當地環境的破壞;濫用機器學習技術，出現客戶等敏感數據外泄;出現違反道德風俗甚至法律問題的行為，例如不當利用隱私數據進行欺詐、引起社會偏見或歧視等問題，降低客戶的信任度，降低企業品牌價值。
三：資金和資源投入不當：投入的資金過少，能力的培養沒有長期的目標，不能滿足開發和二部署AI平臺和能力建設的需求，導致能力的缺陷，長期不能看到期望的產出。
四：急于求成，缺乏系統性規劃：企業將機器學習模型設置為短期投資，過快地追求投資成果，而無法有效地了解和利用機器學習模型潛在的知識和技能，影響投資結果。
五：錯誤的項目路線圖：企業在沒有有效地對目標需求進行分析和規劃的情況下，啟動了一些項目舉措，例如，將時間和資源花費在數據收集和框架建立等可能無效的任務上。
六：項目缺乏治理：無法及時發現原則及合規性的偏離，沒有用有效的度量手段檢查項目是否能夠實現既定的目標和需求，沒有動態跟蹤最新趨勢并實施相關的技術。
七：人才培養計劃與實際的需求偏離：企業在能力規劃不明確的情況下盲目開啟人才培養計劃，從而導致培養出的能力結構不能滿足和適應業務的要求，使項目受到較大的影響。
八：采用了錯誤的技術平臺和路線。采用的技術平臺不符合技術趨勢和發展情況，沒有根據自身的需求對機器學習模型有深入的研究和理解，尤其在B2B集成等復雜的情況下，所選技術不符合整體的IT環境，從而導致投資效果不佳、甚至項目失敗，或者被迫更改技術路線，帶來時間和投入的損失、并且付出機會成本。
九：對場景所需的數據缺乏了解：缺乏足夠的有價值的數據，不能支撐人工智能系統運算，從而導致系統不能達到設想的效果。
十：數據質量不高：企業缺乏有效的數據治理，數據的質量不高，無法滿足通過機器學習實現業務場景的需求。
我們認為，采用一套成熟的架構方法可以有效地規避以上問題。
我們從分析企業的業務戰略、價值流及架構原則出發，著重解決以下問題：要解決的業務問題是什么?如何創造端到端的價值?業務和IT能力的差距在哪里?成本和收益是什么?路線圖是什么?什么是正確的技術解決方案?
解決這些問題涉及企業架構方法和應用技術能力做出一系列決策。我們想通過一個例子闡述這個過程。
機器學習能力建設示例
這是一個制造業案例。
場景：棱鏡合金機械(Prism Alloy Machinery – PAM)公司是一家制造合金材料設備的公司?？蛻魜碜允澜绺鞯?，其中大部分客戶直接使用PAM的維修服務。
三年前，PAM公司逐步更新了業務戰略，其中包括：使用機器學習技術為客戶帶來更多價值并降低運營成本。
在經歷了多次的失敗之后，PAM公司在業界最佳實踐的啟發下，采用了以下措施，確保了能力建設沿著正確的方向前進。以下是CIO和企業架構師團隊采取的步驟：
CIO授權架構師團隊啟動該計劃，并且制定一個完備的計劃來轉變企業架構。該項目的代號是“Smart Work”。
第一、回顧和更新架構原則
這些原則涉及了業務及IT層面，其中包括：遵守法規及道德風俗;嚴格保護隱私數據;質量第一;安全生產;保護企業商譽。隨后的價值流分析、需求分析、架構設計等工作都必須遵守這些原則。
其中一個原則要求技術解決方案必須確?？煽亢透咝У纳a。根據這項原則，架構師團隊把 MLOps 列為首選的技術架構。
此外，該原則還包括以下內容：追蹤技術趨勢，在不違背目標的前提下采用合適的技術路線。為了保護客戶數據，PAM公司采用了聯邦學習平臺來支撐其設備維修場景就是運用架構原則來設計技術方案的一個具體的實例。
第二、進行價值流分析，確保資金和資源的投入能夠帶來最大的收益
通過檢查價值流，他們發現，設備維護服務貢獻了 30% 的營收，其次是備件銷售，貢獻了16%的營收，兩者相加達到了46%的收入，超過了設備銷售。
架構師團隊和運營團隊展開了一系列的研討后，逐步確定了一個需求目錄，他們把這一類服務歸類為“智能維護服務”，核心需求包括：使用人工智能技術和物聯網數據來降低維護成本和生產中斷。這種分析能夠有效規避資金和資源投入不當的問題，并且有助于制定出相對準確的預算。同時，也對人員和平臺的能力設定了具體的需求。
以下是架構師團隊倡議的需求目錄的一部分：
第三，運用從業務需求到數據架構、應用架構、技術架構的架構分析方法
接下來，通過差距分析，架構師團隊更新了應用、數據架構，這時便得出了具體的技術要求：通過更準確的零件故障預測、更短的離線檢查時間、減少零件更換頻率、快速響應事件等優化服務計劃。同時，要求在大規模和連續生產中確保零件壽命，以確保運營的經濟性、并且具有較低風險。
緊接著，架構師團隊提出了一個可行的技術架構(參見圖1)。
圖 1 機器學習訓練架構
圖中，IoT 數據來自傳感器。在算法應用層面的要求包括：故障模式是什么?磨損、壓力、振動、負載、頻率、電壓、溫度等如何導致故障?
它需要兩個關鍵能力：數據科學和持續優化模型、算法和應用程序的機制。
這些問題是典型的IFD(Intelligent Fault Diagnosis)問題，數據科學家團隊選擇了基于深度學習模型，主要考慮的因素包括：運行的設備及IoT數據的規模;數據集的稀疏度;數據源的分布等等。
作為增強功能，數據科學家還嘗試建立了無監督學習機制，以找出功能與故障模式之間的未知關聯。
在數據方面，架構師團隊也規劃了數據治理的舉措，提高相關數據的質量。
第四，運用確立的架構，建立實施路線圖
在這個步驟當中，最核心的當屬確立速贏場景的相關項目。
為了避免急于求成，PAM公司采用了企業架構的規劃方法，但這并不代表對時間目標的忽視。通過規劃速贏場景，可以以最小的代價、以最快的時間對架構的設計進行驗證，給用戶以及企業的決策者以信心、確保后續資源的投入，避免短期投資的誤區。
在實施工程化平臺之前，項目以MVP的形式交付階段性成果。
第五，實施包括工程化平臺、技術團隊建設等舉措
工程化的目標是利用一個成熟的AI平臺，建立數據標記(各種故障或風險情況)和模型訓練的機制，以及應用解決方案：服務規劃、報告和錯誤趨勢分析。
基于云的平臺是不錯的選擇，其中許多平臺為特定行業應用提供了現成的解決方案，例如百度的行業應用解決方案。但這些產品不符合 PAM的解決方案。 AI團隊需要一個具備物聯網、大數據計算、數據挖掘、AI模型開發、部署和維護等PaaS能力的平臺(見圖2：工程化機器學習平臺)。
圖2 工程化機器學習平臺
可選的有ai.baidu.com、Azure AI Platform、ai.tencent.com、華為HiAI等。
此外，還要根據EA方法論建立迭代的需求管理、解決方案、項目計劃、變更和執行框架。
以上，從業務、應用、數據、技術及團隊等諸多方面，對機器學習的能力進行了規劃。這些規劃可以確保時間和資源花費在有效的任務活動中。
第六：運用架構治理方法對項目進行監控和治理
確立度量手段，定期檢查項目是否能夠實現既定的目標和需求，有沒有動態跟蹤最新趨勢并實施相關的技術，有沒有違背架構原則、以及違背數據保護、遵守法律及道德規范等業務原則。
Smart Work項目關鍵技術選項的確立過程
在與關鍵利益相關者審查這些解決方案時，服務總監提出了一個關鍵問題：解決方案的許多機制都要求客戶共享他們的數據，因為涉及關鍵業務信息，這是不可能的。這是任何資本貨物商業模式的普遍問題，特別地，這也關系到可能違反數據隱私相關的架構原則。
這個問題可以通過項目變更來解決，這個過程仍然可以通過架構治理的方法來完成。架構師團隊把最初的解決方案被歸類為“內部解決方案”，并通過變更增加了新的解決方案，即，利用聯邦學習解決B2B業務場景下用戶數據保護方面的問題。
具體地，聯邦學習是一種沒有集中訓練數據的協作機器學習。它在保存本地數據樣本的服務器的多個分散邊緣設備上訓練算法，而不交換它們。它允許多個參與者在不共享數據的情況下構建一個通用的、強大的機器學習模型。
圖 3 基于聯邦學習的解決方案
從行業的角度來看，該技術特別適用于機器學習依賴于難以提取的數據的情況，以及由于數據隱私、數據安全、數據訪問權限等關鍵問題以及數據傳輸帶寬等技術難題。此類情況包括：
• 醫療機構需要從其他機構拉取數據以收集他們需要的所有信息。
• 電梯制造商需要在不從客戶那里獲取數據的情況下，從電梯中找出各種子系統或組件的故障模式。
• 市政部門需要訓練模型來調整交通燈控制系統以實現更高的交通吞吐量，但傳輸汽車和乘客的視頻流消耗的帶寬超出了該部門的承受能力.
此外，企業可能會碰到一些除數據隱私之外的其他問題，這些都適合采用基于聯邦學習的解決方案：
· IT 方面的限制：需要昂貴的基礎設施改造費用，例如計算能力、大型數據集傳輸成本等。
· 技術債務：在傳送物聯網數據時，發現在現有物聯網環境中發送和接收大量訓練數據是一個巨大的挑戰。
聯邦學習的其他應用方向包括：
電梯維護服務：發掘服務管理中的風險模式;發掘故障與參數之間的關聯關系，例如：振動、負載、頻率、電壓、溫度等。
汽車導航服務：如何使軟件智能化，具有不同季節、節假日、星期幾、一個月中的哪一天、一天中的時間段規劃路線的能力，等等。在這種情況下，數據隱私問題也是一個主要關注點。
Smart Work項目其他技術選項的探索
為了追蹤最新的技術方向，PAM公司的架構師團隊考察了包括ChatGPT在內的大模型AI在制造業中的使用，他們認為大模型AI技術可能在以下的業務中得到運用。以下可能會引起架構的變更：
1.故障診斷: 使用基于大語言模型的賦能系統可以幫助對復雜制造系統的故障進行診斷并擴展相關的知識。
2. 產品質量問題診斷: 使用基于大語言模型的知識庫可以診斷出可能出現質量問題的起因，并根據質量問題提供建議和思考，從而有效地解決質量問題。
3. 優化制造過程: 使用大模型可以幫助在原有制造流程基礎上，改進和優化每一步工作流程，有助于提升生產設備的運行效率和質量。
4. 設備自動化: 使用大模型參數分析可以幫助快速識別設備的運行狀況，檢測出設備發出過的警告，便于有效地進行設備的自動化管理和控制。
此外，雖然ChatGPT技術剛剛得到了業界的認識，私有化部署大模型AI也可能是一個不可忽視的技術路線：通過改進深度學習模型，私有化預訓練大模型是一個可行的選項，用來處理特定業務需求，即，使用利用企業私有預料訓練、或者提示行業通用的大語言模型來對工程師進行技能培訓等等。
總結
對于各行各業，機器學習形成了重要的數字化轉型能力。在許多情況下，企業會誤入一些失敗的模式當中。
本文結合印孚瑟斯的實際案例，介紹了采用企業架構方法來規避常見失敗模式的一系列步驟：根據業務原則確立架構原則;進行價值流分析，確保資金和資源的投入能夠帶來最大的收益;運用從業務需求到數據架構、應用架構、技術架構的架構分析方法;運用確立的架構，建立實施路線圖;實施包括工程化平臺、技術團隊建設等舉措;運用架構治理方法對項目進行監控和治理。
這個過程包括分析業務能力矩陣、創建需求和其他業務文檔、識別差距、設計數據、應用程序和技術架構、選擇技術方案等等。通過這個過程，架構師團隊將相關的價值流分解到流程、角色、需求、應用、數據及技術能力和方案級別。
隨著架構設計的迭代，更多的業務或 IT 問題被識別出來，從而產生了一組最能解決問題的技術方案。其中，一個備選的技術路線是采用利用企業和行業預料訓練和提示的大模型AI技術。
作者介紹：
作者介紹：
沙睿杰 (Rajnish Sharma)
印孚瑟斯(Infosys)全球副總裁兼中國區銷售與交付及運營負責人
沙睿杰負責Infosys在華整體業務運營，領導全球和本地客戶服務交付，提升客戶滿意度。此外，他還負責Infosys大中華區團隊的人才管理和能力建設。憑借對云、人工智能和自動化主導的數字服務的熱情，他領導的團隊致力于提供以數字化敏捷和自動化為主導的服務，幫助客戶完成轉型之旅。
王宣
印孚瑟斯(Infosys)首席技術架構師, Infosys中國區戰略技術組負責人
王宣負責Infosys在中國的架構師團隊。這個團隊的目標是在企業、解決方案和技術層面發展和優化架構能力。該團隊在不同階段支持我們的服務交付業務——包括IT規劃、應用程序、數據和技術解決方案、架構治理等。該團隊專注于數字化轉型和企業現代化旅程、云遷移、數據分析、大規模、機器學習、Web3 和區塊鏈等尖端技術的應用。
京公網安備 11010502049343號