主辦單位：北京市科學技術研究院、北京市計算中心
承辦單位：北京市北科信息處理公司
培訓地點：中國 北京
培訓時間：2014年5月16日—18日
【課程簡介】
通過此課程的培訓，學員可以了解大數據技術的發展方向并深入理解Hadoop技術架構、運作機制和使用場景，對于MapReduce程序開發有清晰全面的認識，可以開發測試Hadoop程序，以及獨立規劃、部署以及調試生產環境的Hadoop集群，并進行版本管理。課程還涵蓋了對新一代大數據操作系統--YARN的深入介紹，幫助學員在企業大數據戰略方向上體現自身價值。課程主要涵蓋以下內容：Hadoop基礎知識、HDFS和MapReduce基本原理和架構、HDFS配置和部署、Mapreduce開發、Hadoop 2.0 – YARN、大數據生態系統。
【講師簡介】
堵老師，知名外企資深架構師，中國大陸地區唯一Apache Hadoop項目的Committer，負責Hadoop相關代碼的審查和變更。有多年云計算與大數據開發和實施經驗，熟悉大數據領域各項技術和商業模式，并活躍于國內外重要的大數據會議和論壇。
【課程對象】
<!--[if !supportLists]-->1. <!--[endif]-->各類 IT/軟件企業和研發機構的技術總監、企業CIO；<!--[if !supportLists]-->2. <!--[endif]-->大數據系統工程師、軟件架構師、軟件設計師、高級軟件工程師等；
<!--[if !supportLists]-->3. <!--[endif]-->數據庫開發人員、互聯網產品后臺開發人員；
<!--[if !supportLists]-->4. <!--[endif]-->運維人員、數據分析師、軟件測試人員。
【課程內容】
| 課題 | 課程內容 |
| 第一天：Hadoop基礎知識、基本原理和部署 | |
| 模塊一 大數據和Hadoop入門 | 大數據Hadoop的前世今生 Hadoop經典應用案例 |
| 模塊二 Hadoop基礎知識 | Hadoop與分布式系統 Hadoop擴展性分析 Hadoop基本模塊 |
| 模塊三 HDFS與MAPREDUCE基本原理與架構 | HDFS架構與功能分析 HDFS讀與寫流程分析 HDFS守護進程分析 MapReduce基礎知識 MapReduce基本功能分析 MapReduce架構分析與故障恢復 |
| 模塊四 Hadoop集群管理與配置 | Hadoop常見使用命令 Hadoop運維故障及解決 Hadoop常用工具 Hadoop集群安裝和開啟LZO壓縮 Hadoop配置集群具備機架感知 Hadoop集群開啟公平/能力任務調度器 |
| 模塊五 Hadoop集群維護與管理 | 查看集群狀態 HDFS數據管理 Mapreduce 任務管理 HDFS安全模式 Namenode,Jobtrack單點失效問題 添加刪除節點 數據平衡 文件數據跨集群拷貝 集群升級 |
| 模塊六 Hadoop集群規劃、測試、監控與高可用 | 集群規劃(硬件,系統,網絡) 集群性能測試 使用Ganglia 監控Hadoop集群 使用Cacti 監控操作系統 Hadoop 元數據NFS備份方案 Hadoop SecondaryNameNode備份方案 |
| 第二天：Hadoop MapReduce開發 | |
| 模塊七 Hadoop MapReduce流程分析 | Hadoop JobTracker 詳解回顧 Hadoop TaskTracker 詳解回顧 Hadoop 任務提交流程詳解 |
| 模塊八 使用 Hadoop MapReduce Streaming 編程 | Hadoop Streaming 和 Java MapReduce API 差異。 學習使用 MapReduce 實現數據庫功能,比如select group by join union all ) |
| 模塊九 MapReduce分布式程序 | MapReduce流程 剖析一個MapReduce程序 基本MapReduceAPI 概念 驅動代碼 Mapper Reducer API 使用Eclipse進行快速開發 上機實驗 新MapReduce API |
| 模塊十 HDFS分布式文件系統編程 | Hadoop HDFS 回顧 Hadoop NameNode 回顧 Hadoop DataNode 回顧 Hadoop I/O 操作 使用Hadoop HDFS API對HDFS編程 |
| 模塊十一 Hadoop MapReduce高級編程和優化 | ToolRunner介紹 使用MRUnit進行測試 利用Combiners來減少中間數據 使用Configure和Close方法來進行Map/Reduce設置和關閉 編寫Partitioner來優化負載平衡 直接訪問Hadoop分布式文件系統（HDFS） 使用分布式緩存（Distributed Cache） map優化 reduce優化 小文件優化 |
| 第三天：Hadoop 2.0 — YARN和大數據生態系統 | |
| 模塊十二 YARN基礎知識與架構分析 | 下一代HADOOP – YARN介紹 YARN的主要模塊分析 YARN的 RPC通信機制 YARN的 兩級資源調度機制 YARN的 多應用支持 |
| 模塊十三 YARN集群配置和MapReduce特性 | YARN基礎配置 腳本化部署與卸載 YARN配置文件 YARN高級配置 高可用性配置 機架感知 基于CPU, Memory資源的公平、能力調度器 MapReduce的兼容性分析 插件化Shuffle和排序 |
| 模塊十四 YARN集群維護與管理 | 查看YARN集群狀態 查看YARN高可用性狀態 YARN任務管理與追蹤 集群ResourceManager失效 添加刪除節點 集群升級 任務歷史服務器 集群安全認證 |
| 模塊十五 Hadoop YARN二次開發 | YARN Resource Manager API YARN客戶端和Application Master 剖析Distributed Shell 總結不同應用的Application Master定制方案 |
| 模塊十六 大數據生態系統 | 大數據與存儲系統 大數據與線上系統 大數據與實時系統 大數據與數據倉庫 大數據與內存計算 大數據與虛擬化 大數據與云計算 |
【培訓費用】
培訓費：3980元/人，包括培訓費、版資料費。培訓期間免費提供午餐。可協助安排住宿，食宿費用自理。
【優惠政策】
<!--[if !supportLists]-->1. <!--[endif]-->4月20日（含）之前報名且付款的學員可享受九折優惠；<!--[if !supportLists]-->2. <!--[endif]-->4月21日之后，5月10日之前報名且付款的學員可享受九五折優惠；
<!--[if !supportLists]-->3. <!--[endif]-->3+1團報，同期班同單位3人報名且付款的團體，免費贈送1個學員名額；
<!--[if !supportLists]-->4. <!--[endif]-->參加過往屆北信培訓班（不包含公開課）的學員享受八八折優惠。
（1，2，3，4的優惠不能同時使用，最終解釋權歸北信所有）
【溫馨提示】
<!--[if !supportLists]-->1. <!--[endif]-->名額有限，報滿為止。我們將在報名后3個工作日內發送確認函，報名是否成功以收到我們的確認郵件為準;<!--[if !supportLists]-->2. <!--[endif]-->請自帶筆記本電腦方便上機操作；
<!--[if !supportLists]-->3. <!--[endif]-->已經成功付款的學員，若臨時有事不能參加培訓，請提前聯系我們報退，可退還100%的培訓費用；也可以轉邀其他人代為參加；或者提交延期申請，推遲至下一期的培訓。
【報名方式】
<!--[if !supportLists]-->1. <!--[endif]-->或者填寫報名回執表，將報名回執表以附件的形式發送到郵箱bktraining@163.com；<!--[if !supportLists]-->2. <!--[endif]-->報名咨詢： 張老師 （咨詢時間：周一至周五9:00-17:00）
<!--[if !supportLists]-->3. <!--[endif]-->電話：010-57674188 手機：13466732145
<!--[if !supportLists]-->4. <!--[endif]-->聯系郵箱：bktraining@163.com
【付費方式】 現金、支票、銀行轉賬匯款
賬戶名稱：北京市北科信息處理公司開戶銀行：北京銀行健翔支行
賬號：0109 1122 8001 2010 2013 270
匯款信息：Hadoop系統原理、開發與運維培訓班
