大數(shù)據(jù)時代，對于數(shù)據(jù)的壓縮和檢索的要求也越來越高。而對于數(shù)據(jù)庫我們總是希望在系統(tǒng)資源一定的前提下能夠：第一，存儲的數(shù)據(jù)更多,因此這個世界上出現(xiàn)了各種壓縮算法。第二，訪問的速度更快，更快的 壓縮(寫)/解壓(讀) 算法，更大的緩存。

對于普通的以數(shù)據(jù)塊/文件為單位的壓縮，傳統(tǒng)的(流式)數(shù)據(jù)壓縮算法工作得不錯，時間長了，大家也都習(xí)慣了這種數(shù)據(jù)壓縮的模式。基于這種模式的數(shù)據(jù)壓縮算法層出不窮，不斷有新的算法被實現(xiàn)出來。

在計算機的遠古時代，內(nèi)存的性能、容量，與磁盤的性能、容量，涇渭分明，各種應(yīng)用對性能的需求也比較小，大家各司其職相安無事。

然而隨著ssd，PCIe ssd，3d xpoint……的出現(xiàn)，內(nèi)存變得越來越大，塊壓縮的缺點也愈發(fā)突出，具體表現(xiàn)在：塊選小了，壓縮率不夠，塊選大了，性能無法忍，更要命的是塊壓縮，節(jié)省的只是更大更便宜的磁盤和ssd，更貴更小的內(nèi)存不但沒有節(jié)省反而更加浪費（雙緩存問題）。因此在很多對實時性要求較高的場景下我們不得不放棄壓縮。然而一家名為Terark的公司，試圖通過其自主研發(fā)的技術(shù)解決這一問題。

如上文所說，Terark想要解決數(shù)據(jù)壓縮和存儲的問題。按照傳統(tǒng)的塊/文件為單位的壓縮方式，往往需要先解壓再查詢，但Terark推出的技術(shù)除了具有高壓縮率之外，還可以讓用戶在數(shù)據(jù)時進行實時檢索，避免傳統(tǒng)的先解壓后查詢的問題。據(jù)CEO付新元介紹，Terark的壓縮率是傳統(tǒng)的5-100倍。

值得一提的是Terark將數(shù)據(jù)和索引融為一體，從而提高性能、節(jié)省存儲空間。舉個例子來說，用戶在手機上搜索關(guān)鍵詞時除了可以搜索到來自短信、郵件等內(nèi)容外，還可以檢索到郵箱附件里的內(nèi)容。

另外，Terark還支持在海量數(shù)據(jù)流中實時監(jiān)測關(guān)鍵詞和復(fù)雜規(guī)則。其適用于信息監(jiān)測、信息安全、數(shù)據(jù)預(yù)處理、基因監(jiān)測、垃圾郵件過濾以及網(wǎng)絡(luò)數(shù)據(jù)包監(jiān)測設(shè)備等諸多場景。

付新元告訴36氪，目前這些技術(shù)可以應(yīng)用在云、互聯(lián)網(wǎng)、企業(yè)的數(shù)據(jù)存儲和檢索分析方面；硬件上的存儲與索引；數(shù)據(jù)安全檢測和過濾；數(shù)據(jù)庫與各種數(shù)據(jù)系統(tǒng)的的存儲引擎……方面。’

在采訪中付新元強調(diào)，Terark不是在做一款新的數(shù)據(jù)庫，而是做更加底層的壓縮、存儲、搜索技術(shù)。因此Terark和數(shù)據(jù)庫廠商也不是競爭關(guān)系，而是通過技術(shù)的開放為數(shù)據(jù)庫提供更高的性能。

目前Terark與許多互聯(lián)網(wǎng)企業(yè)選用的MonggoDB數(shù)據(jù)最為適配，集成TerarkDB存儲引擎的MongoDB在提升了內(nèi)存效率、降低IO壓力，提升了數(shù)據(jù)壓縮率、增加容量、降低延遲以及提升吞吐量。再配合MongoDB本身的數(shù)據(jù)庫功能和運維能力，Terark版本的MongoDB具有高可用、可擴展的分布式數(shù)據(jù)庫。

在商業(yè)模式方面，其核心的的壓縮、索引技術(shù)可以與云、手機、智能硬件的廠商合作，落地在實際的應(yīng)用場景中，而其TerarkDB可以和企業(yè)大數(shù)據(jù)、云、CDN、行業(yè)合作，為存儲引擎提供更高的性能和容量。除此之外，Terark還為企業(yè)提供完整的數(shù)據(jù)庫解決方案。