最近阿里的云數據庫拼命在說計算和存儲分離架構設計的優勢,然而,在底層硬件設計創新中,存儲和計算正在拼命想膩歪在一起,在存和算的概念中,究竟能組的CP有多少種,什么才是真正的存算一體呢?
先來說一下存儲和計算。
在馮諾依曼體系中,計算和存儲是分開的,想要輸出結果,就要完成三步走——存儲,計算,以及兩者之間通信,也就是數據搬運。
存儲分為三個層級,高性能小容量的SRAM,大容量低性能的SSD,以及處于兩者之間的DRAM內存。
第一個是CPU/GPU/SOC里的緩存(SRAM),它連接計算模塊,它的讀寫速度最快,能自動執行存儲操作,非常快速地做加法計算,SRAM的容量越大自然計算能力也越強。
但是,SRAM容量通常非常有限,因為一旦面積做的越大,成本會越高,速度也越慢,散熱設計要求也越高,經過各種極致的創新過后,如今最新的一些高端CPU的L3 Cache最大可以做到200多兆,L1和L2 Cache還是很小。
于是,只能退而求其次,讓更多數據被轉存到距離計算模塊較遠的內存上,也就是DRAM之類的內存里。
從內存(DRAM)里讀取數據,相比緩存速度慢了百倍到千倍,這還可以接受,比較嚴重的問題是,當面積大了之后,功耗也會提高。
于是,提升單位面積下的內存存儲密度就顯得越發重要了,發展的實踐證明,現在DRAM內存在提升到單條16G之后也越發吃力,再繼續提升的話,一方面制作成本會更高,另一方面,遭遇數據泄露或破壞的風險也在增加。
看來內存也就能做到這里了,接下來怎么辦呢?接下來就得看容量更大的存儲器(SSD)了,它的容量大,但性能更低,存儲(SSD)速度又比內存慢了10倍以上。CPU要讀數據,一路從存儲器走過來,花上的時間可能萬倍于從SRAM找數據。
有統計表明,做加法和乘法的運算器所消耗的功耗其實很低,大部分功耗都花在了存儲本身的讀取,思考這一問題能做什么有意思的事情呢?比如我們可以思考,如何集成存算功能,提升帶寬和密度,進一步打破存儲瓶頸。
業內有這幾種技術方向:
第一種,近內存計算(NMC)。“捆綁”緩存+內存,通常會選用3D封裝,利用TSV(硅通孔技術)實現垂直通信,但成本高,不同型號的芯片帶還要匹配大小,進行預設計和流片。在以上工作的基礎之上,還要考慮通用性問題,它適用于AI,機器學習和數據中心等規模型應用需求。
另一種是2.5D封裝,主流技術是HBM(高帶寬內存),與平面板級連線不同,加入了interposer這種特殊有機材料(線寬,節點間距優于電路板)作為中間轉接層,它像一個有底座的硅芯片,和堆樂高同理,CPU周邊相當于增加了很多“凹槽”,連接多個HBM2(DRAM芯片)堆棧(可以采用更便宜的90-130納米芯片制程工藝),實現高密度和高帶寬。
第二種,存儲級內存(SCM)。常見的是由英特爾和美光推出的3D Xpoint,基于相變存儲技術,速度介于SSD和內存之間,目前可以和DRAM配合使用,適用于規模型應用場景。
第三種,近存儲計算(NSC)。它是為了解決存儲器距離計算模塊太遠,讀取最花時間的問題。
SSD主要由閃存顆粒組成,需要控制器對其進行平均擦寫管理,實現擦寫均衡,于是有企業將控制器加上計算功能,或者讓擁有計算模塊的FPGA來處理數據并且充當閃存控制器,總之,就是不通過CPU進行讀取計算,而是直連存儲器和計算,以此提升計算效率。
第四種,存內計算(IMC)。它利用存儲器的單元模擬特性做計算,這是真正的在存儲器內進行的計算。
CPU是通過10做二進制邏輯計算,而存內計算則是利用存儲器內電阻特性進行計算,不只是用來區分電阻高低,而是通過電阻值來區分多種狀態,電壓和電阻都是變量,利用歐姆定律,電壓除以電阻進行計算,輸出的結果就是電流,僅僅用一個晶體管就可以完成一次乘法計算過程。
存內計算(IMC)帶來的改變和突破非常巨大,如果存內計算(IMC)流行起來,那么以后理論上就能以存儲容量來作為計算能力的度量單位了。
如此具有突破性的技術都有誰在研究呢?國外有許多公司在研究,在國內,也有包括知存科技,恒爍半導體,杭州閃億,新憶,后摩智能等企業,目前有部分企業的產品已經進入了實踐應用階段。
內存的高密度發展道路已經走不通了,而近內存計算是一種可行解。
三星,SK海力士主導的HBM存儲技術正在持續升級,未來隨著DRAM與存儲器之間的價格和速度差距不斷縮小,圍繞DRAM和SRAM的近內存計算更符合主流應用需求,而2.5D NAND是處于過渡期的最優選。
IMC實際上是計算型存儲的典型標準,是未來趨勢,但目前還要面臨可靠性和密度問題,需要更多的技術驗證和行業應用實踐應用,但它所描繪的前景則非常誘人,是一種有望顛覆馮諾依曼架構系統的特殊存在。
2021年7月29日-30日,2021全球閃存峰會將在杭州召開,屆時我們設置了存算一體化技術論壇,特邀知存科技創始人兼CEO王紹迪作為論壇出品人,論壇將圍繞存儲為中心計算的技術演進方向以及適用的應用實踐展開分享,敬請期待!