如今,替代數據源已嵌入到各個行業的企業業務流程中。根據Lowenstein Sandler 律師事務所2022 年的一項調查,92% 的投資機構(從對沖基金、私募股權到風險投資)都在以中等或很大的程度使用替代數據來為決策提供依據。受訪者還預計,他們在 2022 年對替代數據的使用量將增加。通常,這些數據來自對其他業務流程的處理,例如社交媒體活動、衛星圖像、位置跟蹤數據、信用卡交易和網頁數據抽取。
盡管替代數據可以在整個企業中使用,從營銷和銷售部門到財務和戰略職能部門,但 IT 部門通常負責管理和擁有第三方數據。2019 年,Forrester Research發現,56% 的替代數據收集工作由 IT 部門的首席信息官和首席數據官負責管理。
獲取、存儲和管理替代數據給 IT 經理帶來了新的挑戰,并可能帶來大量不必要的成本。以下是五個這方面的挑戰以及如何減輕其影響。
選擇供應商的成本
根據 Lowenstein 律師事務所的調查,選擇供應商的成本是替代數據使用者最擔心的一個問題,61% 的受訪者表示這是他們最擔心的問題。這些成本是由于審查替代數據提供商這一耗時過程產生的,從而可確保他們提供的數據滿足質量要求。當這些數據將成為某一業務流程的核心要素且不易替換時,這一點尤其重要。在這些情況下,數據購買者確信供應商在可預見的未來能夠持續提供這些數據,這是至關重要的。
降低這些風險的一種方法是尋求行業聯盟來找出可靠的數據源。在同一行業經營的其他公司很可能有類似的需求,并可能會分享一些想法和最佳做法。
適當尋找一些技術熟練的員工
根據 Quanthub 平臺的一項調查,2020 年存在 250000 名數據科學家的缺口。截至 2022 年 4 月下旬,招聘網站 Indeed.com 僅在英國就列出了 2700 個數據科學家空缺職位。擁有適當技能的專業人員的短缺正在迫使工資上漲,同時使留住現有員工變得更加困難。數據科學家并不是將替代數據整合到業務中所需的唯一人員。Forrester Research建議企業使用“數據獵人”的服務,這些人的職責是查找可行的替代數據,并驗證這些數據源的準確性和完整性。歐洲再保險提供商慕尼黑再保險公司 (Munich Re) 為此雇傭了一個由 20 名數據獵人組成的團隊。
這種技能短缺的潛在解決方案包括對現有員工進行培訓,他們對業務及其需求的了解使其比新員工更具優勢。與提供數據科學課程的高等院校建立聯系,探索學生實習和畢業生培訓計劃的可能性,這是打造技能管道的另一種方式。
明確數據所有權
替代數據的性質及其非傳統的來源可能使驗證數據所有權的過程比使用由成熟且可信的供應商提供的數據更加困難。當多個數據源在購買之前已組合在一起,并且追蹤其來源可能很復雜時,尤其如此。在許可、知識產權法和數據保護法規方面可能會面臨困難。
通過選擇那些在數據搜尋方法上可為客戶提供一定透明度且可信賴的供應商,可以緩解問題。當然,盡可能使用內部數據是降低風險的另一種方法。
升級模型以處理替代數據
維護數據模型以確保其具有穩定性并在出現錯誤時對其進行處理,這是被許多企業低估的一項重大成本。Idera 公司預測,維護工作通常占開發預算的 50-80%。將新的數據源添加到模型中也會給本已緊張的預算增加大量成本。
在開始時仔細地進行數據建模,并在模型設計中納入一定的靈活性,可以使這一過程順利進行。
使用適當的工具來存儲替代數據
在 Lowenstein 律師事務所進行的調查中,25%的受訪者表示,缺乏存儲替代數據的工具和技術是一個嚴重的問題。問題的部分原因在于不同數據源之間在更新頻率、API 和數據格式方面缺乏一致性。清理數據以確保模型平穩運行并產生一致且可靠的結果,這可能產生一筆巨大的成本。不斷增加的存儲方案(本地系統、云端,以及混合解決方案),并確保這些方案高效運轉以滿足數據模型的攝取要求,這又增加了另一層復雜性和成本。
隨著數據繼續為那些能夠利用其商業潛力的公司提供競爭優勢,替代數據將變得越來越重要。重要的是要了解,盡管許多替代數據源的使用成本可能很低或無需任何成本,但使這些數據源符合預期目的并將其整合到既定的工作流程中可能會產生其他(有時是巨大的)成本。
版權聲明:本文為企業網D1Net編譯,轉載需注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。