存儲極客
這是一群存儲偏執(zhí)狂
為存儲而生,跟存儲死磕
各具獨家秘笈
有觀點,有碰撞,有干貨
從2015年8月18起
做客存儲極客欄目
與你分享存儲里的那點事兒
在《瓜哥圖解存儲協(xié)議》篇中,瓜哥圖文并茂的介紹了各類存儲系統(tǒng)使用的協(xié)議和接口。本篇,瓜哥將為大家講解存儲中高大上的RAS RAID。
四、各類存儲系統(tǒng)控制器/HBA一覽
通信是雙方的,上文中大家看到的只是硬盤/外設一側(cè)的接口形態(tài),所有設備必須被接入到IO通道控制器上,比如IDE需要接入到IDE控制器,SATA盤需要接入到SATA控制器,SAS接入到SAS控制器,SCSI、PCIE等各自也都有各自的控制器。這些IO通道控制器在后端通過各自的連接器將1個、2個或者多個設備通過各自不同的總線方式掛接上,在前端則通過PCIE或者內(nèi)部私有總線與系統(tǒng)IO橋相連,IO橋在通過更高速的總線連接到CPU。所以這類控制器又被稱為總線適配器,如果將這類IO控制器做成一張板,插到PCIE槽上與IO橋相連,則稱之為Host Bus Adapter,HBA。當然,PCIE控制器是直接集成到CPU里的,PCIE設備是直接連接到CPU而不需要HBA,最多用個連接器轉(zhuǎn)接板將CPU上的PCIE IO管腳連接到外部連接器或者插槽上。
1.SATA、IDE、PCIE、emmc、ufs這些協(xié)議的接口控制器,由于太過常用,一般都被集成到系統(tǒng)IO橋芯片中了。不需要轉(zhuǎn)接到PCIE外擴出HBA來。
2.SCSI HBA:
3.FC HBA
4.SAS HBA
5.以太網(wǎng)HBA
6.Infiniband HBA
IB體系習慣把HBA叫做HCA(Host Channel Adapter)
五、帶RAID功能的HBA被稱為RAID卡
在HBA上增加或者增強對應資源,比如嵌入式CPU、板載DRAM、硬加速計算邏輯等,便可實現(xiàn)各種RAID了,此時HBA上報給OS的并不是其下掛的物理資源,而是經(jīng)過RAID虛擬化之后邏輯資源。由于提升了并發(fā)性,增加了Write Back模式的緩存并加以電池或者超級電容保護,這些邏輯資源擁有更高的速度、更好的時延和更好的可靠性。
SATA RAID卡
SAS RAID卡
六、SAS/SATA硬盤、HBA、接入到服務器中的方式
下圖是最早期的SCSI硬盤的接入方式,由于采用總線結(jié)構(gòu),背板可以做成無源背板,而且走線十分方便,大部分導線被焊接到背板的PCB上,只留一個鏈接器連接到SCSI HBA/RAID卡即可。由于SCSI底層接口已經(jīng)被淘汰,不多描述。
1.SAS卡直連無源背板形式。該形式下,SAS卡(不管是HBA還是帶RAID功能的HBA)采用x4的線纜直接連接到背板上的連接器,背板上每4個硬盤接口被導入到一個x4的連接器上從而直接連接到SAS卡。也就是說,如果有16塊盤,那么背板需要出4個x4連接器,分別連接到SAS卡一側(cè)的一個x4連接器上,前提是SAS卡必須支持對應數(shù)量的直連設備。目前Adaptec的12Gb SAS HBA可以單芯片最大直連16個SAS設備,為接入密度最大的產(chǎn)品。
2.SAS卡連接帶Expander的有源背板形式。有些型號的SAS卡最大只能直連8個設備,而有些服務器比如Dell R910,其前面板有12個硬盤槽位。此時,只能靠SAS Expander(簡稱EXP)了。12個槽位先連接到EXP
3.SAS卡連接Expander子板再連接無源背板的形式。有些時候服務器廠商不想為了增加一個Expander而再制作一款背板,而是想利用現(xiàn)有的無源背板,比如支持16盤位的無源背板,再加上一小塊子板,將Expander放在這個子板上,再將這個子板與SAS HBA及背板分別連接起來。下圖是Dell R730服務器的硬盤連接部分的俯視圖。可以看到那塊黃色的子卡,其背面有一塊SAS Expander芯片,北向采用4個x4接口連接到SAS HBA,南向采用連接器與無源背板相連。
4.SAS卡直連設備無背板形式。這種形式下,SAS/SATA盤直接放到服務器托架上,比如PC機,不提供背板。此時需要使用1分4的線纜,x4那頭接到SAS卡上,分出來的4個數(shù)據(jù)口分別接一個SAS/SATA設備。 1分4的線纜如下圖所示。
5.SAS連接到服務器機箱外置的JBOD形式。這種形態(tài)并無本質(zhì)上的變化,只是要求HBA提供外置接口,用外置線纜,硬盤和背板放到單獨的箱子中。一般JBOD上的背板都是帶Expander的,這樣可以只保留一兩個上行接口即可。