《企業(yè)網(wǎng)D1Net》1月5日訊
大數(shù)據(jù)時代，人們越來越清楚地意識到數(shù)據(jù)中蘊(yùn)藏的價值。海量數(shù)據(jù)的擁有者——運(yùn)營商，銀行，物流公司等等——都在積極地尋求方法利用手中的數(shù)據(jù)。然而，爆發(fā)式增長的數(shù)據(jù)量正在超出傳統(tǒng)數(shù)據(jù)庫的處理能力。為了應(yīng)對這樣的增長，企業(yè)需要對數(shù)據(jù)庫進(jìn)行升級。基于小型機(jī)DB2或Oracle架構(gòu)的傳統(tǒng)數(shù)據(jù)庫升級依靠縱向擴(kuò)展，也就是通過提升服務(wù)器本身的性能來提高處理能力。更大更強(qiáng)的服務(wù)器價格高昂，但性能的提升卻是有限的。企業(yè)為自己的傳統(tǒng)數(shù)據(jù)庫做縱向擴(kuò)展只會錢越花越多，收效越來越少。
Hadoop架構(gòu)很好地解決了擴(kuò)展的瓶頸，它設(shè)計部署在經(jīng)濟(jì)實惠的硬件上，通過橫向擴(kuò)展，便可無限地提升數(shù)據(jù)處理能力。基于Hadoop的大數(shù)據(jù)軟件因為其強(qiáng)大的處理能力和高性價比在數(shù)據(jù)分析市場嶄露頭角。星環(huán)信息科技(上海)有限公司(以下簡稱星環(huán)科技)的企業(yè)級一站式大數(shù)據(jù)綜合平臺Transwarp Data Hub (以下簡稱TDH)是Hadoop發(fā)行版中的佼佼者。它在國內(nèi)擁有最多的上線案例，已經(jīng)為眾多企業(yè)解決了棘手的大數(shù)據(jù)難題。TDH下的分布式內(nèi)存分析引擎Transwarp Inceptor將數(shù)據(jù)和計算中間結(jié)果放在內(nèi)存中，依靠內(nèi)存的高速讀寫，克服了大數(shù)據(jù)處理中常見的I/O瓶頸，加上它對SQL和R的全面支持，可以輕松地應(yīng)對海量數(shù)據(jù)的復(fù)雜計算，極大地提高了數(shù)據(jù)處理的效率，解放了企業(yè)的生產(chǎn)力。然而，星環(huán)科技的開發(fā)人員并不滿足于此。
一方面，Transwarp Inceptor運(yùn)行在JVM上，使用大內(nèi)存的時候，對GC的影響非常嚴(yán)重，用戶體驗不夠平滑;另一方面，完全使用內(nèi)存作為存儲介質(zhì)價格較高。星環(huán)科技的開發(fā)人員發(fā)現(xiàn)，隨著硬件技術(shù)的發(fā)展，SSD的讀寫速度已經(jīng)遠(yuǎn)遠(yuǎn)甩開機(jī)械硬盤，向內(nèi)存靠攏，但在價格上，SSD相對昂貴的內(nèi)存有巨大的優(yōu)勢，這讓SSD成為了內(nèi)存強(qiáng)有力的競爭者。“我們相信，大數(shù)據(jù)分析應(yīng)該朝著更經(jīng)濟(jì)更普及的方向發(fā)展，”星環(huán)科技的CTO孫元浩說道，“我們的產(chǎn)品為企業(yè)提高生產(chǎn)力，而將內(nèi)存替換為SSD可以在不影響性能的情況下提升用戶體驗并且降低成本。”
在為某省級移動通信運(yùn)營商部署大數(shù)據(jù)解決方案時，星環(huán)科技第一次將SSD作為內(nèi)存的替代應(yīng)用在了生產(chǎn)中。在比較市場上各品牌型號的固態(tài)盤的信息之后，星環(huán)科技最終選擇了具備高穩(wěn)定性技術(shù)的英特爾® 固態(tài)盤DC S3500系列來構(gòu)建新的解決方案。對于固態(tài)盤而言，影響讀寫能力的最大因素在于固態(tài)盤的控制芯片和固件算法。英特爾在芯片技術(shù)和固件算法上的優(yōu)勢讓英特爾® 固態(tài)盤DC S3500系列在處理讀寫任務(wù)時擁有得天獨(dú)厚的優(yōu)勢。英特爾® 固態(tài)盤DC S3500系列具有50微秒的順序讀取延遲，在 99.9% 的時間內(nèi) 500 微秒的最大讀取延遲，以及4KB 隨機(jī)讀取性能高達(dá)75,000的每秒輸入輸出操作次數(shù)(IOPS)。同時具備較低的有功讀取 功率(小于 1.3 瓦)。這些特點(diǎn)保證了英特爾® 固態(tài)盤數(shù)據(jù)存儲和讀取的出色能力以及在頻繁操作情況下的性能穩(wěn)定性。作為一款優(yōu)秀的企業(yè)級固態(tài)盤，除了高性能優(yōu)勢之外，英特爾® 固態(tài)盤DC S3500系列還具備防止數(shù)據(jù)丟失和損壞的特性。英特爾® 固態(tài)盤DC S3500系列提供能夠端到端數(shù)據(jù)安全性保護(hù)，使數(shù)據(jù)從進(jìn)入硬盤到離開硬盤時刻處于保護(hù)之中。此外，英特爾還將固態(tài)盤將NAND、SRAM和DRAM內(nèi)存的高級錯誤糾正方案結(jié)合起來，通過奇偶校驗、循環(huán)冗余檢查(CRC)，以及邏輯塊地址(LBA)標(biāo)記驗證來保護(hù)傳輸中的數(shù)據(jù)。它還使用高級加密標(biāo)準(zhǔn)(AES)和增強(qiáng)的電源損耗保護(hù)進(jìn)一步增強(qiáng)數(shù)據(jù)的安全性。英特爾® 固態(tài)盤DC S3500系列產(chǎn)品穩(wěn)定的高性能使星環(huán)科技的解決方案得到了有效的保障。而英特爾® 固態(tài)盤技術(shù)人員專業(yè)而嚴(yán)謹(jǐn)?shù)那捌诋a(chǎn)品測試、積極響應(yīng)的售后服務(wù)方案和強(qiáng)大的渠道供貨能力，更是為項目提供了強(qiáng)有力的后盾。
與傳統(tǒng)方案相比，星環(huán)科技的解決方案有如下幾點(diǎn)優(yōu)勢：
該省級移動運(yùn)營商單月清單數(shù)量在1000億條左右，每月數(shù)據(jù)量達(dá)100TB，完全超出了原有數(shù)據(jù)庫架構(gòu)的處理能力，無法為用戶提供優(yōu)質(zhì)服務(wù)。星環(huán)科技的解決方案使用了800G英特爾® 固態(tài)盤DC S3500替換了256G的內(nèi)存。測試環(huán)境下，在單張表統(tǒng)計操作中，傳統(tǒng)方案需耗時230秒，Transwarp Inceptor僅耗時3秒，查詢速度是原有方案的76倍。而在多張數(shù)據(jù)表關(guān)聯(lián)操作中，傳統(tǒng)方案需耗時414秒，Transwarp Inceptor耗時僅為26秒，原有方案的效率僅是新方案的6%。可見，在處理大數(shù)據(jù)量、復(fù)雜賬單等情況的環(huán)境下，新解決方案完勝傳統(tǒng)方案，能夠應(yīng)對移動通信行業(yè)爆發(fā)式的大數(shù)據(jù)需求，支持?jǐn)?shù)百萬用戶同時在線查詢，極大地提高用戶體驗。跟完全使用內(nèi)存的Transwarp Inceptor相比，這套解決方案的性能也不遑多讓，英特爾® 固態(tài)盤 DC S3500表現(xiàn)出了與內(nèi)存極其接近的反應(yīng)速度：
從成本上來看，256G內(nèi)存成本在2萬元左右，而5000元左右便能買到800G的DC S3500，絕對成本大約下降了75%;從價格容量比來看，內(nèi)存所需成本約為78元/GB，而DC S3500 800G僅為6.25元/GB，單位容量成本大約下降了92%，大大降低方案成本。這個項目中，SSD顯示了其極大的優(yōu)越性——在極少影響性能的情形下，SSD可以為企業(yè)節(jié)省開支。
“我們已經(jīng)習(xí)慣了用SSD來替代傳統(tǒng)硬盤。現(xiàn)在我們欣喜地看到SSD的技術(shù)已經(jīng)發(fā)展到可以在某些場景取代內(nèi)存。”英特爾非易失性存儲解決方案事業(yè)部中國區(qū)市場總監(jiān)劉鋼說道，“大數(shù)據(jù)是現(xiàn)在最熱門的應(yīng)用之一，大數(shù)據(jù)分析處理所需要的持續(xù)、多路并發(fā)、快速讀寫對計算平臺帶來了極大的挑戰(zhàn)，基于傳統(tǒng)硬盤的存儲方案已成為瓶頸。英特爾® 固態(tài)盤具備快速穩(wěn)定的并發(fā)讀寫能力、出色的可靠性以及數(shù)據(jù)保護(hù)功能，尤其是最新發(fā)布的基于NVMe的PCIe SSD是大數(shù)據(jù)分析處理的完美搭配。我們很高興能夠和星環(huán)科技合作，提供一流的大數(shù)據(jù)解決方案。希望在未來，使用SSD作為緩存的大數(shù)據(jù)解決方案會成為行業(yè)標(biāo)準(zhǔn)。”隨著SSD技術(shù)的成熟，其性價比優(yōu)勢將繼續(xù)增強(qiáng)。未來，星環(huán)科技還將繼續(xù)與英特爾緊密合作，借助性能出色的企業(yè)級固態(tài)盤來有效增強(qiáng)解決方案，為用戶提供更優(yōu)質(zhì)、更可靠的服務(wù)。請拭目以待。
京公網(wǎng)安備 11010502049343號