在講座中,Milind Bhandarkar給與會者講述了Hadoop一些最重要的參數的配置方法以及這些參數對系統的性能有何影響。
此外,Milind Bhandarkar還給與會者介紹了一個尚未發布的基于規則的性能異常檢測框架——Hadoop Vaidya,并展示了Yahoo公司真實負載下Vaidya框架的性能結果。
Milind Bhandarkar為與會者介紹了相當多的技術熱點,比如如何在Hadoop中實現map過程、如何定義InputFormat和OutputFormat等技術實踐內容。
在最佳實踐的建議中,Milind Bhandarkar提出了在Hadoop平臺上使用高級語言進行開發、使用合成器對本地軟件集成以減少文件大小等幾種解決方案。
本次活動得到了CSDN大量Hadoop開發者的大力支持,50張門票在短短兩天時間內便被預定一空,現場座位之緊張程度可見一斑。與會者有來自中國移動研究院、中國電信研究院、百度、搜狐、人人網、豆瓣等知名公司的資深技術人員,討論相當深入。
據對與會人員的抽樣調查,國內許多互聯網公司都已經開始在生產環境使用Hadoop。云計算技術正在進入主流。
講師介紹
Milind Bhandarkar,Yahoo!公司Hadoop應用架構師
Milind Bhandarkar自從0.1.0.版本就開始為Apache Hadoop項目做出貢獻,他帶領Yahoo公司網格解決方案團隊專注于為Hadoop相關開發者提供培訓與咨詢,他們已經為數百個Hadoop相關開發團隊提供了支持。Milind Bhandarkar擁有超過20年并行編程語言經驗。他曾工作于Center for Development of Advanced Computing (C-DAC,專注于先進火箭模擬的研究中心),Siebel Systems公司,與Pathscale公司(被QLogic收購),于2005年加入Yahoo!公司。
關于Hadoop
Hadoop是MapReduce和GFS的開源Java實現,一種得到廣泛應用的分布式計算框架。最初是搜索引擎項目Nutch的一部分,由時在Yahoo的Doug Cutting開發。目前已經成為Apache的頂級項目。