課程描述：本課程以大數(shù)據(jù)架構(gòu)與案例為驅(qū)動，采用一個完整地案例貫穿整個課程，讓學(xué)員體驗大數(shù)據(jù)架構(gòu)的企業(yè)價值。在課程中學(xué)員將被賦予企業(yè)架構(gòu)師角色，通過剖析企業(yè)對大數(shù)據(jù)的主要需求，使學(xué)員感悟大數(shù)據(jù)架構(gòu)設(shè)計的過程與價值。
培訓(xùn)目標(biāo)：
1、全面掌握Hadoop的架構(gòu)原理和使用場景；
2、全程項目實戰(zhàn)訓(xùn)練；
3、徹底掌握使用Hadoop進行MapReduce程序開發(fā)；
4、熟悉分布式計算領(lǐng)域的常用算法；
5、掌握Hive、HBase使用與優(yōu)化技巧。
6、了解云計算的發(fā)展歷史
7、掌握云計算的實踐應(yīng)用
8、學(xué)習(xí)云計算的核心技術(shù)
9、通曉云計算的商業(yè)價值。
培訓(xùn)對象：軟件工程師、數(shù)據(jù)庫開發(fā)人員、網(wǎng)絡(luò)后臺開發(fā)人員、運維人員；地方*云計算物聯(lián)網(wǎng)產(chǎn)業(yè)負(fù)責(zé)人；各地云計算中心負(fù)責(zé)人；云計算物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)劃負(fù)責(zé)人；云計算產(chǎn)業(yè)投資團隊；云計算應(yīng)用開發(fā)商；云計算硬件設(shè)備提供商；云服務(wù)運營服務(wù)提供商；高校、科研院所云計算項目負(fù)責(zé)人。
培訓(xùn)內(nèi)容：
時間 課程主題 內(nèi)容簡介
*部分 云計算與虛擬化 ? 計算機的發(fā)展
? 當(dāng)前企業(yè)所面臨的挑戰(zhàn)
? 當(dāng)前企業(yè)級數(shù)據(jù)中心面臨的挑戰(zhàn)
? 驅(qū)動IT轉(zhuǎn)型的源動力
? IT的過去與未來
? The Hype Cycle生命周期
? 兩種最常見的“云計算”定義
? 兩種“云計算”的核心技術(shù)比較
? 工作負(fù)載
? 技術(shù)架構(gòu)——從實例推導(dǎo)
? 將服務(wù)方式交付的IT資源
? 云平臺的發(fā)展現(xiàn)狀
? IaaS的特性
? PaaS的特性
? 云計算的基石
? 云計算技術(shù)架構(gòu)
? 虛擬化帶來的支出與收益
? 服務(wù)器虛擬化技術(shù)對比
? 0penStack云操作系統(tǒng)
? Power服務(wù)器云部署方案介紹
? 高端小型機部署原則
? VMware云部署方案介紹
? NAS云存儲設(shè)計實踐
? 虛擬中間件設(shè)計實踐
第二部分 云計算與數(shù)據(jù)中心建設(shè) ? 容量評估內(nèi)容
? 開放系統(tǒng)容量評估內(nèi)容
? 開放系統(tǒng)評估流程
? 開放系統(tǒng)數(shù)據(jù)采集方法
? 開放系統(tǒng)建立不同類別評估模型
? 開放系統(tǒng)CPU評估模型
? 開放系統(tǒng)CPU評估樣例
第三部分 云計算與數(shù)據(jù)存儲分析挖掘 ? 存儲子系統(tǒng)
? 傳統(tǒng)文件系統(tǒng)
? 松耦合網(wǎng)絡(luò)文件系統(tǒng)
? 共享存儲文件系統(tǒng)
? 基于對象的存儲子系統(tǒng)
? 大數(shù)據(jù)存儲子系統(tǒng)
? Google GFS
? Facebook Haystack
? Amazon Dynamo
? Yahoo PNUTS
? Google BigTable
? 云存儲服務(wù)
? Amazon Simple Storage Service
? Google Storage for Developers
第四部分 Hadoop概述 ? 數(shù)據(jù)存儲與分析
? 數(shù)據(jù)的并行訪問
? Hadoop的核心組件
? Hadoop的基本特征
? Hadoop的生態(tài)圈
? Hadoop與大數(shù)據(jù)
? Hadoop與關(guān)系型數(shù)據(jù)庫
? Hadoop與網(wǎng)格計算
? Hadoop與志愿者計算
? Hadoop發(fā)展簡史
MapReduce ? 什么是MapReduce
? MapReduce示例
? 使用MapReduce進行數(shù)據(jù)分析
? 使用Java編寫Map函數(shù)
? 使用Java編寫Reduce函數(shù)
? 使用Java編寫Run函數(shù)
? 數(shù)據(jù)流
? bine函數(shù)
? 非Java語言支持
HDFS ? 什么是HDFS
? HDFS的優(yōu)勢與劣勢
? 數(shù)據(jù)塊
? Namenode與Datanode
? 客戶端
? Hadoop文件系統(tǒng)
? Hadoop的各種語言接口
? 文件訪問的數(shù)據(jù)流
? 一致性模型
? Hadoop歸檔文件
第五部分 MapReduce應(yīng)用開發(fā) ? MapReduce程序編寫的基本流程
? 配置開發(fā)環(huán)境
? 配置文件管理
? Generic0ptionsParser，Tool和ToolRunner
? 編寫單元測試
? 本地運行測試數(shù)據(jù)
? 集群環(huán)境運行作業(yè)
HIVE ? 什么是HIVE
? 數(shù)據(jù)模型
? HiveQL
? Hive的優(yōu)化
? Hive的擴展性
ZooKeeper ? 什么是ZooKeeper
? ZooKeeper的特點
? ZooKeeper服務(wù)的數(shù)據(jù)模型
? ZooKeeper服務(wù)的高可用
? ZooKeeper服務(wù)的一致性
? 使用ZooKeeper構(gòu)建配置服務(wù)
? 使用ZooKeeper實現(xiàn)鎖服務(wù)
HBASE ? Hbase概述
? HBase的數(shù)據(jù)模型
? HBase的運行時
? HBase與關(guān)系型數(shù)據(jù)庫
Sqoop ? 什么是Sqoop
? Sqoop導(dǎo)入示例
? Sqoop如何導(dǎo)入數(shù)據(jù)
? Sqoop如何導(dǎo)出數(shù)據(jù)
第六部分 其他互聯(lián)網(wǎng)公司大數(shù)據(jù)存儲系統(tǒng)參考架構(gòu) ? Google GFS
? Facebook Haystack
? Amazon Dynamo
? Yahoo PNUTS
? Google BigTable
云存儲服務(wù) ? 亞馬遜S3
? 谷歌開發(fā)者存儲
