集中式云資源通常用于訓練深度學習推理模型，因為開發精確模型需要大量數據和計算。生成的模型可以部署在中央云位置，也可以分發到邊緣的設備。
邊緣AI和云AI相得益彰，并且云資源幾乎總是與邊緣AI用例有關。在一個完美的世界中，為了簡化和擴展，我們將所有工作負載集中在云中，但是，諸如延遲，帶寬，自治性，安全性和隱私之類的因素使得必須在靠近數據的邊緣部署更多的AI模型。消息來源。一些培訓正在邊緣進行，并且越來越多地關注聯合學習的概念，該概念將處理集中在數據區域，同時集中結果以消除區域偏見。
邊緣AI的崛起
更好的網絡基礎架構和新的邊緣計算架構的興起，正在打破集中式云AI與分布式邊緣AI工作負載之間的障礙。
其優勢是基礎架構的巨大新興變化，它通過增加分布在世界每個角落的信息技術層來補充云。我們相信邊緣AI會引發一場革命，就像云技術獲得牽引力一樣大。
如果設計得當，Edge AI將為自動縮放帶來新的機會，因為每個新用戶都會為集體工作負載帶來全新的機器。邊緣還可以更好地訪問更多未處理的原始輸入數據，而云AI解決方案必須與預處理的數據一起使用以提高性能或龐大的數據集，這時帶寬可能會成為一個嚴重問題。
將事物移到邊緣的原因是為了獲得更好的響應時間。速度和延遲對于諸如計算機視覺和用于5G的虛擬無線電接入網絡等應用至關重要。另一個重大好處在于，通過限制將哪些數據上傳到云來改善隱私。
Edge AI的部署也充滿了限制，包括網絡延遲，內存壓力，電池消耗以及進程可能被用戶或操作系統作為后臺的可能性。從事邊緣AI的開發人員需要計劃各種限制，尤其是在探索手機等常見用例時。
互補方法
大多數專家將邊緣和云方法視為更大戰略的補充部分。云AI更適合批量學習技術，該技術可以處理大數據集以構建更智能的算法，從而快速，大規模地獲得最大的準確性。Edge AI可以執行這些模型，而云服務可以從這些模型的性能中學習并應用于基礎數據以創建一個連續的學習循環。
保持適當的平衡-如果您完全致力于邊緣AI，那么您將失去持續改進模型的能力。沒有新的數據流，您將無處利用。但是，如果您完全致力于云AI，則可能會危及數據質量-由于需要進行權衡才能使其可上傳，并且缺乏反饋來指導用戶捕獲更好的數據-或數據量。
邊緣AI補充了云AI，可在需要時提供對即時決策的訪問，并利用云獲得更深入的見解或需要更廣泛或更縱向的數據集來推動解決方案的見解。
例如，在連接的汽車中，汽車上的傳感器會提供實時數據流，該數據流會不斷進行處理并做出決策，例如施加制動器或調整方向盤。可以將相同的傳感器數據流式傳輸到云中以進行長期的模式分析，從而可以警告所有者急需的維修，從而可以防止將來發生事故。另一方面，云AI對邊緣AI進行了補充，以推動更深入的見解，調整模型并繼續增強他們的見解。
云計算和邊緣AI協同工作，以更深入的洞察力為驅動力，制定即時的需求決策，而這些洞察力不斷被新的邊緣數據所告知。
培訓工作流程
使邊緣AI和云AI協同工作的主要挑戰是程序和體系結構。需要對應用程序進行設計，以便有目的地拆分和協調它們之間的工作量。
例如，啟用邊緣的攝像頭可以處理源自傳感器的所有信息，而不會因無關數據而使網絡過載。但是，當最終在邊緣檢測到感興趣的對象時，可以將相關幀廣播到更大的云應用程序，該應用程序可以存儲，進一步分析（例如，幀中對象的子類型是什么以及其屬性是什么），以及與人類主管共享分析結果。
一種策略在于創建一種在模型和數據的大小與數據傳輸成本之間取得平衡的體系結構。對于大型模型，留在云中更有意義。有多種方法可以減小模型大小以幫助解決問題，但是，如果要處理非常大的模型，則可能需要在云中運行它。
在其他情況下，當在邊緣生成大量數據時，在本地更新模型，然后將其子集反饋到云中以進行進一步優化可能更有意義。在對敏感數據進行推理時，開發人員還需要考慮一些隱私問題。例如，如果開發人員希望通過手機攝像頭檢測中風的證據，則應用程序可能需要在本地處理數據以確保符合HIPAA。
框架將不斷發展，以提供更多有關在哪里進行培訓以及如何提高重用性的選擇。例如，TensorFlow.js使用WebGL和WebAssembly在瀏覽器中運行（有益于隱私，低延遲，利用桌面或移動GPU資源等），但也可以加載分片的，緩存的云訓練模型版本。模型交換格式（例如，開放神經網絡交換）也可以增加模型在不同環境中的流動性。Sletten建議探索像LLVM這樣的工具，這是一個開源編譯器基礎結構項目，以使從應用程序所運行的環境中抽象出應用程序變得更加容易。
需要適應
將更多的AI從云轉移到邊緣的關鍵挑戰之一是，能夠在邊緣AI芯片中高效運行的神經網絡架構。聰明的行車記錄儀供應商。
通用計算平臺（如在云服務器中找到的平臺）可以運行任何網絡體系結構。在邊緣AI中這變得更加困難。架構和訓練有素的模型必須經過修改才能在邊緣的AI芯片組上運行。
這是一個巨大的挑戰，因為用戶可能會從高性能的移動網絡駛向盲區，而無論如何都希望獲得良好的性能。在推理期間，沒有足夠的網絡帶寬將所有數據從邊緣移動到云，但是用例要求將本地推理輸出進行全局匯總。邊緣AI可以運行神經網絡，以幫助過濾必須發送到云以進行進一步AI處理的數據。
在其他情況下，云AI訓練可能會導致神經網絡模型具有過多的層次，無法在邊緣設備上有效運行。在這些情況下，邊緣AI可以運行較輕的神經網絡，從而創建輸入的中間表示形式，該中間表示被壓縮得更多，因此可以發送到云中以進行進一步的AI處理。在訓練期間，邊緣和云AI可以以混合模式運行，以提供類似于“虛擬主動學習”的功能，在這種情況下，邊緣AI篩選大量數據并“教導”云AI。
邊緣AI芯片組中受支持的神經網絡架構的類型是有限的，并且通常比在云中可以實現的功能落后幾個月。解決這些局限性的一種有用方法是使用編譯器工具鏈和堆棧，例如Apache TVM，它們有助于將模型從一個平臺移植到另一個平臺。
另一種方法是使用已知可以在邊緣AI中很好地工作的網絡體系結構，并直接為目標平臺訓練它們。他發現，鑒于訓練數據的數量和種類足夠多，就絕對性能而言，這種方法通常可以勝過跨平臺編譯器方法。但是，它還需要在培訓期間以及預處理和后期處理中進行一些手工操作。
邊緣和云AI之間的常見折衷
開發人員需要在云和邊緣AI之間進行權衡的一些最常見的折衷方案包括：
· 處理能力：邊緣計算設備通常功能較弱，并且難以更換或升級。
· 延遲：云計算速度很快，但尚未為駕車或工業控制等實時應用做好準備。
· 能耗：大多數設計人員通常不必像對待邊緣那樣考慮云的能耗約束。
· 連通性：當連通性下降時，像自動駕駛汽車這樣的安全關鍵服務將無法停止工作，這會將實時AI驅動的決策的處理推向邊緣。
· 安全性：用于驅動身份驗證和處理敏感信息（例如指紋或病歷）的AI服務通常最好是在本地出于安全考慮而完成。即使部署了非常強大的云安全性，用戶從邊緣處理中獲得更好的隱私感也可能是重要的考慮因素。
京公網安備 11010502049343號