ELK是一個集Elasticsearch、Logstash及Kibana于一體的日志分析與全文搜索系統。其中,Elasticsearch是一個實時分布式搜索和分析引擎,Logstash具備數據采集、轉換、優化和輸出的能力,Kibana則為Elasticsearch提供了強大的可視化管理界面。早在2016年7月,青云QingCloud就推出了Elasticsearch全文搜索引擎服務,并同期在映像市場中上線了Logstash日志收集工具和Kibana可視化分析工具。此次QingCloud推出的ELK服務,將原有三大獨立的應用組件整合到一個服務中,并通過AppCenter以云應用的形式交付給用戶使用,使得組件相互之間可以自動感知和配置,支持一鍵部署、節點橫向和縱向擴容,極大地減輕了組件的獨立搭建和手動配置的繁雜工作。
ELK on QingCloud的核心亮點及功能有:
版本全新升級,并支持后續的一鍵升級
ELK版本全新升級至5.0,其中Elasticsearch、Kibana版本為5.5.1,Logstash版本為5.4.3,可為用戶節省磁盤空間,大幅提升查詢和索引性能,減少索引時間等。同時,借助QingCloud AppCenter,ELK應用可以實現未來版本的一鍵升級,從而降低升級遷移的復雜度。
預置分詞功能及可視化插件:
l Elasticsearch分詞功能全面增強,集成了IK Analysis中文分詞插件,并為該插件提供了結巴分詞的詞庫和IK自帶的搜狗詞庫,同時還支持用戶上傳自定義詞典。ELK on QingCloud不僅更符合中文用戶的使用習慣,還提升了檢索的精確度。
l 新增ElasticHD可視化插件,方便用戶通過瀏覽器使用Elasticsearch進行數據搜索和分析,使得ELK更易于使用和管理。
與QingStor對象存儲集成,可實現跨區數據遷移,并大幅降低成本
l Elasticsearch集成了Elastic官方S3 Repository插件,可通過標準S3接口將snapshot存儲到QingStor對象存儲中,并在需要時隨時恢復,由此實現數據的跨區及升級遷移。
l Logstash集成了QingStor對象存儲的Logstash Input / Output插件,支持通過該插件實現QingStor對象存儲和Elasticsearch數據的雙向傳輸。用戶可將QingStor對象存儲中的數據快速傳輸至Elasticsearch進行分析;借助QingStor對象存儲低成本的特點,可將Elasticsearch中的數據或Logstash采集的數據導入并長期保存在QingStor對象存儲中,即可定期刪除現有集群中的冷數據,從而極大地降低使用ELK的存儲成本。
豐富、便捷的監控告警功能
ELK on QingCloud可收集Elasticsearch集群各節點日志到Logstash節點,支持用戶通過瀏覽器查看Elasticsearch的日志;同時還提供了豐富的監控告警等服務,幫助用戶便捷地管理ELK集群。
青云QingCloud產品兼運營副總裁林源表示,ELK是QingCloud首個集成多個產品的、一站式的、解決方案級的云應用,提升了QingCloud的大數據服務能力。基于打造以應用為中心的全新云服務體系的理念,ELK on QingCloud將為企業快速構建一套高度整合的系統,提供一體化的交付,從而加速獲取云端數據價值。未來,QingCloud AppCenter將集成更豐富的大數據組件,為用戶提供端到端的、全面的大數據服務。