在全球邁向數(shù)字經(jīng)濟(jì)和智能世界的今天,所有的企業(yè)和組織正依托數(shù)字化平臺,以期通過各種使能技術(shù)為自身業(yè)務(wù)進(jìn)行智能加持,把握市場先機(jī),提升業(yè)務(wù)績效。自2012年以來,大數(shù)據(jù)在全球創(chuàng)造了1400萬個(gè)就業(yè)機(jī)會(huì)。根據(jù)今年5月中國人社部發(fā)布的一份報(bào)告顯示,預(yù)計(jì)2020年年末,中國大數(shù)據(jù)行業(yè)人才需求規(guī)模將達(dá)210萬。越來越多的公司增加了在大數(shù)據(jù)方面的投資,有報(bào)告稱去年全球在大數(shù)據(jù)分析方面的支出超過了1800億美元。
但與此同時(shí),如何挖掘數(shù)據(jù)背后蘊(yùn)藏的巨大價(jià)值,并將其與日新月異的AI、云、物聯(lián)網(wǎng)等新技術(shù)完美融合?選擇正確的工具,才能幫助企業(yè)和眾多數(shù)據(jù)領(lǐng)域的專業(yè)人員達(dá)到事半功倍的效果。
JetBrains為目前各種主流編程語言提供相應(yīng)的集成開發(fā)環(huán)境(IDE),作為一家專注于開發(fā)者的公司,在近期舉辦的華為全聯(lián)接2020大會(huì)上,其技術(shù)布道師和團(tuán)隊(duì)工具市場經(jīng)理以專題演講的形式與參會(huì)者們分享了JetBrains給開發(fā)者們的一站式解決方案。在為開發(fā)者打造的眾多高效智能工具當(dāng)中,JetBrains的Big Data Tools大數(shù)據(jù)開發(fā)工具因其專業(yè)、高效、可擴(kuò)展等特性受到了業(yè)內(nèi)的廣泛關(guān)注。
早在去年11月,JetBrains首次推出了結(jié)合Java集成開發(fā)環(huán)境(IDE)IntelliJ IDEA的Big Data Tools 大數(shù)據(jù)開發(fā)工具,同時(shí)開啟早期體驗(yàn)計(jì)劃,旨在幫助Java開發(fā)者更高效地處理大數(shù)據(jù)。今年5月,JetBrains針對早期體驗(yàn)計(jì)劃的Big Data Tools大數(shù)據(jù)工具插件做出進(jìn)一步更新,新版本的插件在此前僅適用于IntelliJ IDEA用戶的基礎(chǔ)上,現(xiàn)在同樣可用于DataGrip和PyCharm Professional。如此,這款工具首次讓基于IntelliJ平臺的多種開發(fā)工具之間能夠相互協(xié)同工作。這表明JetBrains在成功進(jìn)軍大數(shù)據(jù)開發(fā)工具領(lǐng)域后,正有條不紊的為數(shù)據(jù)行業(yè)的專業(yè)人員創(chuàng)建能涵蓋更多工作場景的工具。
新版本的Big Data Tools 大數(shù)據(jù)開發(fā)工具插件允許數(shù)據(jù)領(lǐng)域的專業(yè)人員將其所使用的工具集中到DataGrip(一站式提供數(shù)據(jù)庫管理的IDE)和PyCharm(Python語言專屬IDE),這意味著即使是那些不熟悉Java的用戶,也能通過IDE輕松地使用Apache Spark、Hadoop的HDFS和AWS S3等工具。
對于使用Scala和Spark SQL編寫Zeppelin notebook的情況,Big Data Tools 大數(shù)據(jù)開發(fā)工具插件可提供智能導(dǎo)航、代碼補(bǔ)全、檢查和快速修復(fù)以及在notebook內(nèi)重構(gòu),無需離開IDE即可瀏覽、創(chuàng)建和運(yùn)行Zeppelin notebook。該插件還允許用戶在IDE工具窗口中檢查Spark作業(yè)執(zhí)行、查看集群環(huán)境和存儲(chǔ)信息,以及瀏覽和管理HDFS、S3和其他受支持的存儲(chǔ)文件。此外,它還支持Parquet類的分欄式存儲(chǔ)格式。此前市場上沒有便于使用分欄式文件格式的工具,這使其更顯獨(dú)特。
多數(shù)使用Scala開發(fā)Apache Zeppelin的數(shù)據(jù)工程師都在用IntelliJ IDEA編寫Scala和Java代碼,這是因其優(yōu)秀的體驗(yàn)和智能編碼輔助功能使然。因此,Apache Zeppelin與IntelliJ IDEA之間的集成很自然,現(xiàn)在它允許數(shù)據(jù)工程師在無需離開IDE的情況下,即可使用Zeppelin notebook、Spark應(yīng)用程序和S3文件。這對于數(shù)據(jù)領(lǐng)域的專業(yè)人員來說變得越來越重要,因?yàn)樵谠S多情況下,通過本機(jī)IDE使用數(shù)據(jù)工具更加舒適且高效。
JetBrains大中華區(qū)負(fù)責(zé)人李玥萱表示: “各大行業(yè)對大數(shù)據(jù)的應(yīng)用不斷深入,與此同時(shí)企業(yè)對合適工具的需求也與日俱增。JetBrains 正在利用深厚的行業(yè)知識為開發(fā)人員、數(shù)據(jù)科學(xué)家和工程師提供最專業(yè)、高效和可擴(kuò)展的工具,并將覆蓋大數(shù)據(jù)開發(fā)應(yīng)用的各個(gè)場景。我們相信,這將幫助中國的數(shù)據(jù)行業(yè)專業(yè)人員更快地構(gòu)建大數(shù)據(jù)解決方案,并持續(xù)獲得舒適的應(yīng)用體驗(yàn)。”