精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:存儲(chǔ)技術(shù)專區(qū) → 正文

深入DellWorld2015:SC9000存儲(chǔ)軟硬件更新解密

責(zé)任編輯:cres |來(lái)源:企業(yè)網(wǎng)D1Net  2015-11-03 11:10:52 本文摘自:戴爾企業(yè)級(jí)解決方案

軟件定義的存儲(chǔ)(SDS)是當(dāng)前火熱的名詞,不知大家是否記得早在數(shù)年前就有傳統(tǒng)磁盤陣列廠商提出“存儲(chǔ)即軟件”的說(shuō)法?

如今的軟件定義存儲(chǔ),無(wú)論是像VSAN、Ceph這樣的分布式架構(gòu),還是Nexenta ZFS這種單/雙控集群架構(gòu),更多意義上強(qiáng)調(diào)的是軟硬件解耦。而傳統(tǒng)企業(yè)級(jí)集中式存儲(chǔ),雖然仍是軟硬一體銷售的模式,但核心硬件組件——包括CPU等也早已趨于同質(zhì)化。因此陣列的操作系統(tǒng),或者說(shuō)Firmware就像是它們的大腦,直接反映出不同品牌/系列的差異化,也是核心價(jià)值所在。

對(duì)于存儲(chǔ)陣列產(chǎn)品的升級(jí),軟硬件不一定完全同步。硬件平臺(tái)升級(jí),基本上會(huì)帶來(lái)性能、擴(kuò)展性的提高;而軟件升級(jí)則可以增加/完善更多的功能、修復(fù)bug等。

這一次,戴爾SC(Compellent)陣列的SCOS 6.7操作系統(tǒng)升級(jí)走在了硬件前面一點(diǎn),而當(dāng)Dell World 2015上正式推出新一代高端產(chǎn)品SC9000,則給我們帶來(lái)了更大的驚喜!

 Dell Storage SC9000

①控制器硬件換代,CPU由每控制器2個(gè)6核升級(jí)為2個(gè)8核,同時(shí)提高主頻;②內(nèi)存增大4倍,由最大128GB提高到512GB(雙控制器);③后端驅(qū)動(dòng)器接口由6Gb/s SAS升級(jí)到12Gb/s,增加支持SC400(2U 12x3.5”)和SC420(2U 24x2.5”)兩款12Gb/s SAS擴(kuò)展機(jī)箱;④最大IOPS提高40%,帶寬增加110%。

如果說(shuō)硬件更新是驅(qū)動(dòng)性能提升的主要因素,軟件優(yōu)化和新增的強(qiáng)大功能則離不開系統(tǒng)軟件的升級(jí)。下面我們就來(lái)深入解讀Storage Center 6.7的更新:

1、全新高端型號(hào)控制器(SC9000)、擴(kuò)展柜支持2、針對(duì)SC8000/SC4020的更新帶有自動(dòng)切換(Auto-Failover)的Live Volume增強(qiáng)型壓縮從PS系列精簡(jiǎn)導(dǎo)入(Thin Import)針對(duì)Oracle的應(yīng)用保護(hù)管理器(APM)

Live Volume讓容災(zāi)切換更加自動(dòng)簡(jiǎn)單

使用Dell Storage SC系列Always Live Volume的VMware Metro Cluster遠(yuǎn)程跨站點(diǎn)集群,圖片引用自《ESG Lab Review - Always Available Dell Storage SC Series》

這個(gè)是戴爾Live Volume架構(gòu)示意圖。最新的Storage Center 6.7能使Compellent更好地支持雙活和兩地三中心的切換,并通過(guò)VMwrae相關(guān)認(rèn)證。

同時(shí)我們也想補(bǔ)充提醒一下大家,支持自動(dòng)切換不代表該功能就適合所有場(chǎng)景,許多時(shí)候還是需要人工干預(yù)。什么情況下應(yīng)該切?會(huì)不會(huì)誤切?這已經(jīng)不只是技術(shù)范疇,而是管理者要思考的問(wèn)題了。

戴爾Live Volume已經(jīng)通過(guò)VMware vMSC(vSphere Metro Storage Cluster)的認(rèn)證,也就是可以接近于在本地?cái)?shù)據(jù)中心的一套陣列上那樣進(jìn)行虛擬機(jī)的HA切換、vMotion遷移等操作。

關(guān)于同步復(fù)制/雙活對(duì)網(wǎng)絡(luò)帶寬和延時(shí)的要求,比如有的公司宣傳其存儲(chǔ)雙活用于VMware集群可以支持300km距離,戴爾也一樣能實(shí)現(xiàn)。因?yàn)楣馑?光纖延時(shí))對(duì)大家都是平等的,而實(shí)際線路質(zhì)量則參差不齊,所以還有傳輸設(shè)備等其它需要關(guān)注的因素。比如我們建議同步復(fù)制的延時(shí)不超過(guò)5ms、40km以內(nèi),是為了減少對(duì)實(shí)際應(yīng)用和性能帶來(lái)的影響。

獨(dú)特閃存數(shù)據(jù)縮減技術(shù)如何做到性能不下降?

在Storage Center 6.5-6.6版本,戴爾已經(jīng)引入了針對(duì)分層存儲(chǔ)的最底層不活躍數(shù)據(jù)的壓縮功能,可以有效節(jié)約“冷數(shù)據(jù)”占用的磁盤空間。

Storage Center 6.7的變化如上圖所示:除了全HDD陣列和混合陣列配置之外,在單層、RI(讀密集型)/ WI(寫密集型)SSD分層全閃存陣列上,也可以打開壓縮功能——如上圖綠色的“單層AFA”和“T2 RI SSDs”部分。

為什么戴爾宣稱這個(gè)“增強(qiáng)型壓縮”能夠保持最大性能呢?我們認(rèn)為該技術(shù)仍然遵循著久經(jīng)考驗(yàn)、廣受好評(píng)的Data Progression自動(dòng)分層存儲(chǔ)的一貫原則。

永遠(yuǎn)寫入高性能分層
遷移后數(shù)據(jù)的讀性能不因?yàn)殚W存類型和RAID級(jí)別而下降


1.在單層AFA上,原始數(shù)據(jù)按照RAID 10寫入,待生成Replay快照凍結(jié)數(shù)據(jù)塊之后,RAID分層將其轉(zhuǎn)換為RAID 5/6并同時(shí)完成壓縮。所有后續(xù)寫入仍然以RAID 10方式,而RAID 5/6的讀性能不低于RAID 10。

注:之前有存儲(chǔ)廠商的實(shí)時(shí)壓縮技術(shù)號(hào)稱“不影響讀性能”,言下之意就是寫性能還是有影響的。當(dāng)然這個(gè)也與數(shù)據(jù)類型有關(guān),不排除特殊數(shù)據(jù)樣本下(比如接近全0或者全1)壓縮后實(shí)際寫入量很少反而更快的情況。

2.在閃存分層的配置下,原始數(shù)據(jù)按照RAID 10寫入WI SSD分層,待生成Replay快照凍結(jié)數(shù)據(jù)塊之后,Data Progression將其遷移至RAID 5/6的RI SSD分層并同時(shí)完成壓縮。所有后續(xù)寫入仍然以RAID 10方式進(jìn)入寫密集型SSD,而讀密集型MLC/TLC SSD的讀性能可達(dá)SLC/高耐久度eMLC水平,RAID 5/6的讀性能也不低于RAID 10。

戴爾SC陣列的增強(qiáng)型壓縮,通過(guò)與自動(dòng)分層存儲(chǔ)相結(jié)合,其壓縮動(dòng)作成為定期執(zhí)行的后臺(tái)任務(wù),從而有效避免了對(duì)寫入性能的影響。同時(shí),在不額外添加專用硬件的情況下,高效壓縮算法保證了讀性能不下降。

可能有人會(huì)問(wèn)單層AFA中的RAID 10部分,以及T1 WI SSD中的數(shù)據(jù)得不到壓縮怎么辦?我們應(yīng)該注意到,這些數(shù)據(jù)在整套陣列中所占的比例是較小的。得益于戴爾SC系列的軟件架構(gòu)設(shè)計(jì),它們通常只需要容納一天~幾天寫入的數(shù)據(jù)量即可,所以我們不用擔(dān)心整體的壓縮效果。

 

上圖引用自白皮書《Dell Storage Center SCOS 6.7 and Data Compression》,均按照60%壓縮比來(lái)計(jì)算

如上圖示例,在SCOS 6.7版本之前,對(duì)橙色部分“凍結(jié)的不可訪問(wèn)數(shù)據(jù)頁(yè)”(不包括卷最新狀態(tài)中的數(shù)據(jù),只被歷史Replay快照引用)的壓縮回收了6GB空間;而SCOS 6.7新加入對(duì)“凍結(jié)的可訪問(wèn)數(shù)據(jù)頁(yè)”(只讀Replay快照數(shù)據(jù))壓縮回收了12GB空間;允許寫入的“活動(dòng)數(shù)據(jù)頁(yè)”不適合數(shù)據(jù)壓縮。這樣整體節(jié)約的容量就是51%。

關(guān)于戴爾Data Progression自動(dòng)分層存儲(chǔ)的原理,包括上述不同數(shù)據(jù)分層的定義及管理策略等,可以參考冬瓜哥大作《存儲(chǔ)極客 | 淺析固態(tài)介質(zhì)在存儲(chǔ)系統(tǒng)中的應(yīng)用方式》。

與PS系列軟件融合 精簡(jiǎn)導(dǎo)入互連互通

所謂Thin Import,是指在戴爾PS(EqualLogic)陣列上的thin-provisioning精簡(jiǎn)配置卷,能夠保持“瘦身”狀態(tài)導(dǎo)入(遷移)到SC系列上。只需要拷貝實(shí)際寫入過(guò)的數(shù)據(jù)塊,而不是前端主機(jī)看到的整個(gè)LUN容量。導(dǎo)入到SC陣列之后的卷仍然保持精簡(jiǎn)格式。

這種精簡(jiǎn)導(dǎo)入,建立在戴爾自主知識(shí)產(chǎn)權(quán)的產(chǎn)品系列間部分代碼復(fù)用的基礎(chǔ)上。戴爾在SC、PS等自己的品牌系列不僅擁有完整的自主知識(shí)產(chǎn)權(quán),而且還有著自主研發(fā)的能力實(shí)現(xiàn)產(chǎn)品系列的數(shù)據(jù)整合。

快照管理器為Oracle數(shù)據(jù)庫(kù)保駕護(hù)航

在Storage Center 6.7之前,戴爾SC系列的Replay快照已經(jīng)能夠與Windows平臺(tái)下的SQL Server、Exchange Server、Hyper-V以及VMware Hypervisor配合,實(shí)現(xiàn)具備應(yīng)用數(shù)據(jù)一致性的快照,有效改善了恢復(fù)效果。針對(duì)Oracle,可以通過(guò)編寫腳本在快照創(chuàng)建之前通知數(shù)據(jù)庫(kù)將內(nèi)存中的“臟數(shù)據(jù)”寫盤,并且有過(guò)一些成功實(shí)施的項(xiàng)目。

那么我們來(lái)看一下新版軟件的變化:APM for Oracle允許Oracle管理員在沒(méi)有存儲(chǔ)或者數(shù)據(jù)庫(kù)管理員幫助的情況下,保護(hù)和恢復(fù)他們的數(shù)據(jù);APM包含在Enterprise Manager 2015R2管理軟件中;提供Windows客戶端和Linux代理。

這方面也有點(diǎn)類似于Live Volume的自動(dòng)切換,都是把自動(dòng)化功能集成到圖形管理界面,讓存儲(chǔ)生成Oracle數(shù)據(jù)庫(kù)一致性快照的配置操作更加簡(jiǎn)單易用。而這些也正是商業(yè)存儲(chǔ)與開源軟件定義存儲(chǔ)的差別體現(xiàn),只有真正成熟、穩(wěn)定的才能稱之為產(chǎn)品,而不是在部署和運(yùn)維上需要大量踩坑的項(xiàng)目。

展望 未來(lái)值得期待

據(jù)了解,在戴爾存儲(chǔ)未來(lái)的Roadmap上已經(jīng)規(guī)劃了SC家族的一系列軟硬件更新。我們相信,本次發(fā)布的SC9000有實(shí)力延續(xù)Compellent的輝煌!

 

 

關(guān)鍵字:存儲(chǔ)戴爾

本文摘自:戴爾企業(yè)級(jí)解決方案

x 深入DellWorld2015:SC9000存儲(chǔ)軟硬件更新解密 掃一掃
分享本文到朋友圈
當(dāng)前位置:存儲(chǔ)技術(shù)專區(qū) → 正文

深入DellWorld2015:SC9000存儲(chǔ)軟硬件更新解密

責(zé)任編輯:cres |來(lái)源:企業(yè)網(wǎng)D1Net  2015-11-03 11:10:52 本文摘自:戴爾企業(yè)級(jí)解決方案

軟件定義的存儲(chǔ)(SDS)是當(dāng)前火熱的名詞,不知大家是否記得早在數(shù)年前就有傳統(tǒng)磁盤陣列廠商提出“存儲(chǔ)即軟件”的說(shuō)法?

如今的軟件定義存儲(chǔ),無(wú)論是像VSAN、Ceph這樣的分布式架構(gòu),還是Nexenta ZFS這種單/雙控集群架構(gòu),更多意義上強(qiáng)調(diào)的是軟硬件解耦。而傳統(tǒng)企業(yè)級(jí)集中式存儲(chǔ),雖然仍是軟硬一體銷售的模式,但核心硬件組件——包括CPU等也早已趨于同質(zhì)化。因此陣列的操作系統(tǒng),或者說(shuō)Firmware就像是它們的大腦,直接反映出不同品牌/系列的差異化,也是核心價(jià)值所在。

對(duì)于存儲(chǔ)陣列產(chǎn)品的升級(jí),軟硬件不一定完全同步。硬件平臺(tái)升級(jí),基本上會(huì)帶來(lái)性能、擴(kuò)展性的提高;而軟件升級(jí)則可以增加/完善更多的功能、修復(fù)bug等。

這一次,戴爾SC(Compellent)陣列的SCOS 6.7操作系統(tǒng)升級(jí)走在了硬件前面一點(diǎn),而當(dāng)Dell World 2015上正式推出新一代高端產(chǎn)品SC9000,則給我們帶來(lái)了更大的驚喜!

 Dell Storage SC9000

①控制器硬件換代,CPU由每控制器2個(gè)6核升級(jí)為2個(gè)8核,同時(shí)提高主頻;②內(nèi)存增大4倍,由最大128GB提高到512GB(雙控制器);③后端驅(qū)動(dòng)器接口由6Gb/s SAS升級(jí)到12Gb/s,增加支持SC400(2U 12x3.5”)和SC420(2U 24x2.5”)兩款12Gb/s SAS擴(kuò)展機(jī)箱;④最大IOPS提高40%,帶寬增加110%。

如果說(shuō)硬件更新是驅(qū)動(dòng)性能提升的主要因素,軟件優(yōu)化和新增的強(qiáng)大功能則離不開系統(tǒng)軟件的升級(jí)。下面我們就來(lái)深入解讀Storage Center 6.7的更新:

1、全新高端型號(hào)控制器(SC9000)、擴(kuò)展柜支持2、針對(duì)SC8000/SC4020的更新帶有自動(dòng)切換(Auto-Failover)的Live Volume增強(qiáng)型壓縮從PS系列精簡(jiǎn)導(dǎo)入(Thin Import)針對(duì)Oracle的應(yīng)用保護(hù)管理器(APM)

Live Volume讓容災(zāi)切換更加自動(dòng)簡(jiǎn)單

使用Dell Storage SC系列Always Live Volume的VMware Metro Cluster遠(yuǎn)程跨站點(diǎn)集群,圖片引用自《ESG Lab Review - Always Available Dell Storage SC Series》

這個(gè)是戴爾Live Volume架構(gòu)示意圖。最新的Storage Center 6.7能使Compellent更好地支持雙活和兩地三中心的切換,并通過(guò)VMwrae相關(guān)認(rèn)證。

同時(shí)我們也想補(bǔ)充提醒一下大家,支持自動(dòng)切換不代表該功能就適合所有場(chǎng)景,許多時(shí)候還是需要人工干預(yù)。什么情況下應(yīng)該切?會(huì)不會(huì)誤切?這已經(jīng)不只是技術(shù)范疇,而是管理者要思考的問(wèn)題了。

戴爾Live Volume已經(jīng)通過(guò)VMware vMSC(vSphere Metro Storage Cluster)的認(rèn)證,也就是可以接近于在本地?cái)?shù)據(jù)中心的一套陣列上那樣進(jìn)行虛擬機(jī)的HA切換、vMotion遷移等操作。

關(guān)于同步復(fù)制/雙活對(duì)網(wǎng)絡(luò)帶寬和延時(shí)的要求,比如有的公司宣傳其存儲(chǔ)雙活用于VMware集群可以支持300km距離,戴爾也一樣能實(shí)現(xiàn)。因?yàn)楣馑?光纖延時(shí))對(duì)大家都是平等的,而實(shí)際線路質(zhì)量則參差不齊,所以還有傳輸設(shè)備等其它需要關(guān)注的因素。比如我們建議同步復(fù)制的延時(shí)不超過(guò)5ms、40km以內(nèi),是為了減少對(duì)實(shí)際應(yīng)用和性能帶來(lái)的影響。

獨(dú)特閃存數(shù)據(jù)縮減技術(shù)如何做到性能不下降?

在Storage Center 6.5-6.6版本,戴爾已經(jīng)引入了針對(duì)分層存儲(chǔ)的最底層不活躍數(shù)據(jù)的壓縮功能,可以有效節(jié)約“冷數(shù)據(jù)”占用的磁盤空間。

Storage Center 6.7的變化如上圖所示:除了全HDD陣列和混合陣列配置之外,在單層、RI(讀密集型)/ WI(寫密集型)SSD分層全閃存陣列上,也可以打開壓縮功能——如上圖綠色的“單層AFA”和“T2 RI SSDs”部分。

為什么戴爾宣稱這個(gè)“增強(qiáng)型壓縮”能夠保持最大性能呢?我們認(rèn)為該技術(shù)仍然遵循著久經(jīng)考驗(yàn)、廣受好評(píng)的Data Progression自動(dòng)分層存儲(chǔ)的一貫原則。

永遠(yuǎn)寫入高性能分層
遷移后數(shù)據(jù)的讀性能不因?yàn)殚W存類型和RAID級(jí)別而下降


1.在單層AFA上,原始數(shù)據(jù)按照RAID 10寫入,待生成Replay快照凍結(jié)數(shù)據(jù)塊之后,RAID分層將其轉(zhuǎn)換為RAID 5/6并同時(shí)完成壓縮。所有后續(xù)寫入仍然以RAID 10方式,而RAID 5/6的讀性能不低于RAID 10。

注:之前有存儲(chǔ)廠商的實(shí)時(shí)壓縮技術(shù)號(hào)稱“不影響讀性能”,言下之意就是寫性能還是有影響的。當(dāng)然這個(gè)也與數(shù)據(jù)類型有關(guān),不排除特殊數(shù)據(jù)樣本下(比如接近全0或者全1)壓縮后實(shí)際寫入量很少反而更快的情況。

2.在閃存分層的配置下,原始數(shù)據(jù)按照RAID 10寫入WI SSD分層,待生成Replay快照凍結(jié)數(shù)據(jù)塊之后,Data Progression將其遷移至RAID 5/6的RI SSD分層并同時(shí)完成壓縮。所有后續(xù)寫入仍然以RAID 10方式進(jìn)入寫密集型SSD,而讀密集型MLC/TLC SSD的讀性能可達(dá)SLC/高耐久度eMLC水平,RAID 5/6的讀性能也不低于RAID 10。

戴爾SC陣列的增強(qiáng)型壓縮,通過(guò)與自動(dòng)分層存儲(chǔ)相結(jié)合,其壓縮動(dòng)作成為定期執(zhí)行的后臺(tái)任務(wù),從而有效避免了對(duì)寫入性能的影響。同時(shí),在不額外添加專用硬件的情況下,高效壓縮算法保證了讀性能不下降。

可能有人會(huì)問(wèn)單層AFA中的RAID 10部分,以及T1 WI SSD中的數(shù)據(jù)得不到壓縮怎么辦?我們應(yīng)該注意到,這些數(shù)據(jù)在整套陣列中所占的比例是較小的。得益于戴爾SC系列的軟件架構(gòu)設(shè)計(jì),它們通常只需要容納一天~幾天寫入的數(shù)據(jù)量即可,所以我們不用擔(dān)心整體的壓縮效果。

 

上圖引用自白皮書《Dell Storage Center SCOS 6.7 and Data Compression》,均按照60%壓縮比來(lái)計(jì)算

如上圖示例,在SCOS 6.7版本之前,對(duì)橙色部分“凍結(jié)的不可訪問(wèn)數(shù)據(jù)頁(yè)”(不包括卷最新狀態(tài)中的數(shù)據(jù),只被歷史Replay快照引用)的壓縮回收了6GB空間;而SCOS 6.7新加入對(duì)“凍結(jié)的可訪問(wèn)數(shù)據(jù)頁(yè)”(只讀Replay快照數(shù)據(jù))壓縮回收了12GB空間;允許寫入的“活動(dòng)數(shù)據(jù)頁(yè)”不適合數(shù)據(jù)壓縮。這樣整體節(jié)約的容量就是51%。

關(guān)于戴爾Data Progression自動(dòng)分層存儲(chǔ)的原理,包括上述不同數(shù)據(jù)分層的定義及管理策略等,可以參考冬瓜哥大作《存儲(chǔ)極客 | 淺析固態(tài)介質(zhì)在存儲(chǔ)系統(tǒng)中的應(yīng)用方式》。

與PS系列軟件融合 精簡(jiǎn)導(dǎo)入互連互通

所謂Thin Import,是指在戴爾PS(EqualLogic)陣列上的thin-provisioning精簡(jiǎn)配置卷,能夠保持“瘦身”狀態(tài)導(dǎo)入(遷移)到SC系列上。只需要拷貝實(shí)際寫入過(guò)的數(shù)據(jù)塊,而不是前端主機(jī)看到的整個(gè)LUN容量。導(dǎo)入到SC陣列之后的卷仍然保持精簡(jiǎn)格式。

這種精簡(jiǎn)導(dǎo)入,建立在戴爾自主知識(shí)產(chǎn)權(quán)的產(chǎn)品系列間部分代碼復(fù)用的基礎(chǔ)上。戴爾在SC、PS等自己的品牌系列不僅擁有完整的自主知識(shí)產(chǎn)權(quán),而且還有著自主研發(fā)的能力實(shí)現(xiàn)產(chǎn)品系列的數(shù)據(jù)整合。

快照管理器為Oracle數(shù)據(jù)庫(kù)保駕護(hù)航

在Storage Center 6.7之前,戴爾SC系列的Replay快照已經(jīng)能夠與Windows平臺(tái)下的SQL Server、Exchange Server、Hyper-V以及VMware Hypervisor配合,實(shí)現(xiàn)具備應(yīng)用數(shù)據(jù)一致性的快照,有效改善了恢復(fù)效果。針對(duì)Oracle,可以通過(guò)編寫腳本在快照創(chuàng)建之前通知數(shù)據(jù)庫(kù)將內(nèi)存中的“臟數(shù)據(jù)”寫盤,并且有過(guò)一些成功實(shí)施的項(xiàng)目。

那么我們來(lái)看一下新版軟件的變化:APM for Oracle允許Oracle管理員在沒(méi)有存儲(chǔ)或者數(shù)據(jù)庫(kù)管理員幫助的情況下,保護(hù)和恢復(fù)他們的數(shù)據(jù);APM包含在Enterprise Manager 2015R2管理軟件中;提供Windows客戶端和Linux代理。

這方面也有點(diǎn)類似于Live Volume的自動(dòng)切換,都是把自動(dòng)化功能集成到圖形管理界面,讓存儲(chǔ)生成Oracle數(shù)據(jù)庫(kù)一致性快照的配置操作更加簡(jiǎn)單易用。而這些也正是商業(yè)存儲(chǔ)與開源軟件定義存儲(chǔ)的差別體現(xiàn),只有真正成熟、穩(wěn)定的才能稱之為產(chǎn)品,而不是在部署和運(yùn)維上需要大量踩坑的項(xiàng)目。

展望 未來(lái)值得期待

據(jù)了解,在戴爾存儲(chǔ)未來(lái)的Roadmap上已經(jīng)規(guī)劃了SC家族的一系列軟硬件更新。我們相信,本次發(fā)布的SC9000有實(shí)力延續(xù)Compellent的輝煌!

 

 

關(guān)鍵字:存儲(chǔ)戴爾

本文摘自:戴爾企業(yè)級(jí)解決方案

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號(hào)-6 京公網(wǎng)安備 11010502049343號(hào)

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 万州区| 巴中市| 枣阳市| 越西县| 蓝山县| 洛扎县| 八宿县| 容城县| 三河市| 齐齐哈尔市| 乌鲁木齐县| 温泉县| 封开县| 太谷县| 庆云县| 嘉义县| 上犹县| 湖北省| 仲巴县| 卢龙县| 布拖县| 汽车| 龙川县| 临高县| 田林县| 揭东县| 双流县| 登封市| 五寨县| 蓬安县| 福清市| 杭锦后旗| 故城县| 简阳市| 西贡区| 曲阳县| 栾城县| 蛟河市| 深泽县| 喀什市| 锦屏县|