數據架構師的角色
數據架構師是具有遠見的高級人才,他們將業務需求轉化為技術要求,并定義數據標準和原則,通常是為了支持數據或數字化轉型。數據架構師負責構思和設計企業的數據管理框架,該框架描述了用于規劃、規范、啟用、創建、獲取、維護、使用、歸檔、檢索、控制和清除數據的流程。
根據DAMA國際的數據管理知識體系,數據架構師還“提供標準的通用業務詞匯表,表達戰略要求,概述滿足這些要求的高級綜合設計,并與企業戰略和相關業務架構保持一致”。
數據架構師通常也是數據科學團隊的一員,負責領導數據系統項目,并且他們經常向數據基礎設施和數據科學負責人匯報工作。
數據架構師的職責
根據Panoply的說法,數據架構師的典型職責包括:
• 將業務需求轉化為技術規格,包括數據流、集成、轉換、數據庫和數據倉庫。
• 定義數據架構框架、標準和原則,包括建模、元數據、安全、參考數據(如產品代碼和客戶類別)以及主數據(如客戶、供應商、材料和員工)。
• 定義參考架構,這是一種他人可以遵循的模式,用于創建和改進數據系統。
• 定義數據流,即組織的哪些部分生成數據、哪些功能需要數據、數據流如何管理以及數據在轉換過程中如何變化。
• 與多個部門、利益相關者、合作伙伴和外部供應商協作和協調。
不同類型的數據架構師
數據架構是一個復雜且多樣的領域,不同的組織和行業對數據架構師有著獨特的需求。數據架構師Armando Vázquez識別出了九種常見的數據架構師類型:
• 企業數據架構師負責監督組織的整體數據架構,定義數據架構策略,并設計和實施架構。
• 機器學習(ML)架構師設計可用于ML和AI模型的可擴展系統。
• 解決方案數據架構師為特定的業務需求設計和實施數據解決方案,包括數據倉庫、數據集市和數據湖。
• 應用程序數據架構師為特定的軟件應用程序設計和實施數據模型。
• 信息/數據治理架構師建立并執行數據治理政策和程序。
• 分析/數據科學架構師設計和實施支持高級分析和數據科學應用(包括ML和AI)的數據架構。
• 云數據架構師為基于云的平臺(如AWS、Azure和Google Cloud Platform)設計和實施數據架構。
• 數據安全架構師與安全團隊和IT團隊緊密合作,設計數據安全架構。
• 大數據架構師設計和實施支持大數據存儲、處理和分析的數據架構。
數據架構師與數據工程師
數據架構師和數據工程師的角色密切相關。在某種程度上,數據架構師是高級數據工程師。數據架構師和數據工程師共同構思并構建企業數據管理框架。數據架構師負責構思整個框架的藍圖,然后數據工程師根據這個藍圖進行構建。根據為業務和IT專業人士提供教育管理資源的Dataversity的說法,數據架構師在框架中構思、設計和準備數據,以便數據科學家、數據工程師或數據分析師使用。數據工程師協助數據架構師構建數據搜索和檢索的工作框架。
數據架構師與數據科學家
Dataversity表示,數據架構師和數據科學家的角色是相關的,但數據架構師專注于將業務需求轉化為技術要求、定義數據標準和原則,并為數據科學家構建模型開發框架。數據科學家則是應用計算機科學、數學和統計學來構建模型的專家。
如何成為數據架構師
數據架構師是一個不斷發展的角色,目前并沒有行業標準的認證或培訓項目。通常,數據架構師是從數據工程師、數據科學家或解決方案架構師開始,通過多年在數據設計、數據管理和數據存儲方面的工作經驗,逐漸成長為數據架構師。
如何挑選數據架構師
大多數數據架構師擁有信息技術、計算機科學、計算機工程或相關領域的學位,并且對云、數據庫以及這些數據庫所使用的應用程序和程序有深入的了解。他們理解數據建模,包括概念化和數據庫優化,并且表現出對持續教育的承諾。
數據架構師具備以下能力:
• 設計實現預期商業模式的數據處理模型。
• 開發表示關鍵數據實體及其關系的圖表。
• 生成構建所設計系統所需組件的列表。
• 清晰、簡潔、有效地溝通。
數據架構師的日常職責是什么?
根據在線課程提供商Coursera的說法,數據架構師的日常職責包括:
• 將業務需求轉化為數據庫、數據倉庫和數據流。
• 創建程序以確保數據的準確性和可訪問性。
• 分析、規劃和定義數據架構框架,包括安全、參考數據、元數據和主數據。
• 創建和實施數據管理流程和程序。
• 與組織內的其他團隊合作,制定和實施數據策略、構建模型,并評估股東需求和目標。
• 研究數據獲取機會。
• 開發應用程序編程接口(API)以檢索數據。
數據架構師的技能
數據架構師需要具備數學和計算機科學的熟練度、數據管理技能,以及分析和呈現統計信息的能力。
根據求職門戶Teal的說法,重要的數據架構師技能包括:
• 數據建模和設計。數據架構師必須能夠設計反映復雜業務場景的綜合數據模型。他們必須熟練掌握概念、邏輯和物理模型的創建。這是數據架構師的核心技能,也是數據架構師職位描述中最常要求的技能。這通常包括SQL開發和數據庫管理。
• 數據治理和合規性。隨著法規的不斷演變,數據架構師必須確保其組織的數據管理實踐符合嚴格的法律和道德標準。他們需要創建維護數據質量、安全和隱私的框架的技能。
• 云計算專業知識。組織正在不斷遷移到基于云的解決方案,因此了解云服務、架構和存儲解決方案至關重要。他們還必須了解云安全、混合云環境和成本效益高的基礎設施設計。
• 熟練掌握大數據技術。數據架構師必須了解如何實現大數據解決方案以進行數據流和實時分析。
• ML和AI集成。他們必須了解如何構建為AI算法提供數據的數據管道,以及如何為ML工作負載構建數據庫結構。
• 跨學科協作。數據架構師必須能夠與包括業務領導者、IT專業人員、數據科學家和開發人員在內的利益相關者緊密合作。他們還必須將業務需求轉化為技術規格,反之亦然。
• 持續學習和適應。數據架構師需要了解已建立的數據管理和報告技術,并對列式和NoSQL數據庫、預測分析、數據可視化和非結構化數據有一定的了解。
其他重要技能包括:
• 系統開發基礎。數據架構師需要了解系統開發生命周期、項目管理方法以及需求、設計和測試技術。
• 溝通和政治敏銳性。數據架構師需要具備人際交往能力。他們必須口齒清晰、有說服力、善于銷售,并且必須向他人構思和描繪大數據的全貌。
數據架構師認證
盡管沒有行業標準的數據架構師認證,但有一些認證可能對數據架構師的職業生涯有所幫助。除了其組織使用的主要數據平臺的認證外,以下認證也很受歡迎:
• 認證數據管理專業人員(CDMP)
• Arcitura認證的大數據架構師
• IBM認證解決方案架構師 - Cloud Pak for Data v4.x
• Salesforce認證數據架構師
• TOGAF 9認證項目
數據架構師的薪資
根據PayScale的薪酬分析,數據架構師的中位年薪為133000美元,包括獎金和利潤分享在內的總薪酬每年在86000美元至192000美元之間。紐約市的數據架構師平均收入比全國平均水平高出22.7%。在華盛頓特區和馬薩諸塞州波士頓,數據架構師的收入分別比全國平均水平高出15.7%和12.7%。數據架構師薪資最低的城市是明尼蘇達州明尼阿波利斯(低7.4%)和伊利諾伊州芝加哥(低3.7%)。
以下是PayScale提供的與數據架構相關的一些其他熱門職位及其平均薪資:
• 商業智能(BI)架構師:86000-160000美元
• 數據工程師:69000-138000美元
• 數據倉庫架構師:78000-154000美元
• 數據庫架構師:85000-181000美元
• 信息架構師:75000-162000美元
• 解決方案架構師:82000-174000美元
數據架構師的職位
最近在Indeed.com上搜索數據架構師職位時,顯示出了多個行業中的空缺職位,包括咨詢、金融服務、醫療保健、高等教育、酒店業、物流、制藥、零售和技術。
對數據架構師職位描述的抽樣顯示了關鍵責任領域,如:創建DataOps和商業智能(BI)轉型路線圖、開發和維持數據策略、實施和優化物理數據庫設計,以及設計和實施數據遷移和集成流程。
公司在招聘時通常會要求應聘者擁有計算機科學、信息科學、工程或相關領域的學士學位,不過碩士學位更受歡迎。大多數職位要求應聘者擁有8至15年的相關經驗。他們希望找到積極主動、經驗豐富的創新者,這些人應具備良好的人際交往能力、強大的協作能力以及出色的口頭和書面溝通能力。
對數據架構師的需求
對數據架構師的需求非常強烈。美國勞工統計局表示,2023年美國有141,900個數據架構師職位,并預測從2023年到2033年,數據架構師的數量將增長9%,這一增長率高于美國所有其他職業的平均水平。
企業網D1net(hfnxjk.com):
國內主流的to B IT門戶,旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。