中國培訓(xùn)易(m.aokangtiyu.cn)
特色課程公開課
主辦單位：廣州必學(xué)企業(yè)管理咨詢有限公司
中國培訓(xùn)易（m.aokangtiyu.cn）
中國培訓(xùn)易（m.aokangtiyu.cn）
舉辦時間：
| 北京 2017年1月13–16日 | 福州 2016年12月17–20日 |
| 上�！�2016年11月26–29日 |
課程費(fèi)用：5800元/人（含資料費(fèi)、午餐、茶點、發(fā)票）
會 員 價：會員優(yōu)惠價請咨詢客服， QQ:674837974 手機(jī)/微信：18588851172 符小姐
課程詳情
【招生對象】 對此課程感興趣的學(xué)員。
根據(jù)黨中央和國務(wù)院“互聯(lián)網(wǎng)+”行動計劃戰(zhàn)略布局，落實國務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動綱要，響應(yīng)工業(yè)和信息化部培養(yǎng)大數(shù)據(jù)技術(shù)高端人才的號召,中國電子標(biāo)準(zhǔn)協(xié)會特推出了大數(shù)據(jù)平臺Hadoop與Spark架構(gòu)技術(shù)及應(yīng)用實戰(zhàn)課程培訓(xùn)班。通過專業(yè)的大數(shù)據(jù)Hadoop與Spark技術(shù)架構(gòu)體系與業(yè)界真實案例來全面提升大數(shù)據(jù)項目高管、大數(shù)據(jù)平臺架構(gòu)師，以及大數(shù)據(jù)開發(fā)工程師與大數(shù)據(jù)應(yīng)用設(shè)計人員的專業(yè)水平，旨在培養(yǎng)專業(yè)的大數(shù)據(jù)Hadoop與Spark技術(shù)架構(gòu)專家，培養(yǎng)大數(shù)據(jù)技術(shù)和應(yīng)用創(chuàng)新型人才，促進(jìn)大數(shù)據(jù)技術(shù)在各行業(yè)內(nèi)部及跨行業(yè)進(jìn)行實施應(yīng)用，以及企事業(yè)單位的大數(shù)據(jù)項目開發(fā)和落地，并利用大數(shù)據(jù)提升競爭力優(yōu)勢�，F(xiàn)將相關(guān)事宜通知如下：
一、 培訓(xùn)特色
1. 課程培訓(xùn)業(yè)界最流行、應(yīng)用最廣泛的Hadoop與Spark大數(shù)據(jù)技術(shù)體系。強(qiáng)化大數(shù)據(jù)平臺的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實現(xiàn)、大數(shù)據(jù)應(yīng)用項目開發(fā)和大數(shù)據(jù)集群運(yùn)維實踐、以及Hadoop與Spark大數(shù)據(jù)項目應(yīng)用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實戰(zhàn)。
2. 通過一個完整的大數(shù)據(jù)開發(fā)項目及一組實際項目訓(xùn)練案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺的應(yīng)用開發(fā)與運(yùn)維實踐。課堂實踐項目以項目小組的形式進(jìn)行沙盤實操練習(xí)，重點強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項目各個階段的工作重點，同時掌握作為大數(shù)據(jù)項目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。
3. 本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項目的資深講師，采用原理技術(shù)剖析和實戰(zhàn)案例相結(jié)合的方式開展互動教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時促進(jìn)講師學(xué)員之間的交流，讓每個學(xué)員都能在課程培訓(xùn)過程中學(xué)到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實戰(zhàn)技能，具備實際大數(shù)據(jù)應(yīng)用項目的動手開發(fā)實踐與運(yùn)維管理部署能力。授課過程中，根據(jù)學(xué)員需求，增設(shè)交流環(huán)節(jié)，可將具體工作中遇到的實際問題展開討論，講師會根據(jù)學(xué)員的實際情況微調(diào)授課內(nèi)容，由講師帶著全部學(xué)員積極討論，并給出一定的時間讓學(xué)員上臺發(fā)言，現(xiàn)場剖析問題的癥結(jié)，規(guī)劃出可行的解決方案。
二、 培訓(xùn)目標(biāo)
通過本次課程的培訓(xùn)，學(xué)員可達(dá)到如下目標(biāo)：
1. 深刻理解在“互聯(lián)網(wǎng)+”時代下大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程和演化趨勢；
2. 了解業(yè)界市場需求和國內(nèi)外最新的大數(shù)據(jù)技術(shù)潮流，洞察大數(shù)據(jù)的潛在價值，；
3. 理解大數(shù)據(jù)項目解決方案及業(yè)界大數(shù)據(jù)應(yīng)用案例，從而為企業(yè)在大數(shù)據(jù)項目中的技術(shù)選型及技術(shù)架構(gòu)設(shè)計提供決策參考；
4. 全面掌握業(yè)界最流行的Hadoop與Spark大數(shù)據(jù)技術(shù)體系；
5. 掌握大數(shù)據(jù)采集技術(shù)；
6. 掌握大數(shù)據(jù)分布式存儲技術(shù)；
7. 掌握NoSQL與NewSQL分布式數(shù)據(jù)庫技術(shù)；
8. 掌握大數(shù)據(jù)倉庫與統(tǒng)計機(jī)器學(xué)習(xí)技術(shù)；
9. 掌握大數(shù)據(jù)分析挖掘與商業(yè)智能（BI）技術(shù)；
10. 掌握大數(shù)據(jù)離線處理技術(shù)；
11. 掌握Storm流式大數(shù)據(jù)處理技術(shù)；
12. 掌握基于內(nèi)存計算的大數(shù)據(jù)實時處理技術(shù)；
13. 掌握大數(shù)據(jù)管理技術(shù)的原理知識和應(yīng)用實戰(zhàn)；
14. 深入理解大數(shù)據(jù)平臺技術(shù)架構(gòu)和使用場景；
15. 嫻熟地運(yùn)用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實際項目需求；
16. 掌握如何部署符合生產(chǎn)環(huán)境要求的Hadoop大數(shù)據(jù)集群；
17. 熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺進(jìn)行應(yīng)用程序開發(fā)、集群運(yùn)維管理和性能調(diào)優(yōu)技巧。
三、 課程大綱
時間 課程模塊 課程內(nèi)容
第一天上午 大數(shù)據(jù)技術(shù)基礎(chǔ)
1. 大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程
2. 大數(shù)據(jù)和云計算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應(yīng)用趨勢
5. 大數(shù)據(jù)項目的技術(shù)選型與架構(gòu)設(shè)計
6. “互聯(lián)網(wǎng)+”時代下的電子商務(wù)、制造業(yè)、零售批發(fā)業(yè)、電信運(yùn)營商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子政務(wù)、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實踐與應(yīng)用案例剖析
業(yè)界主流的大數(shù)據(jù)技術(shù)產(chǎn)品與項目解決方案
1. 國內(nèi)外主流的大數(shù)據(jù)解決方案介紹
2. 當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較
3. Apache大數(shù)據(jù)平臺方案剖析
4. CDH大數(shù)據(jù)平臺方案剖析
5. HDP大數(shù)據(jù)平臺方案剖析
6. 開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
Hadoop大數(shù)據(jù)平臺剖析
1. Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實際應(yīng)用介紹
2. Hadoop大數(shù)據(jù)平臺架構(gòu)
3. 基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機(jī)制
4. Hadoop的核心組件剖析
第一天下午 大數(shù)據(jù)分布式存儲系統(tǒng)原理及其應(yīng)用實踐
1. 分布式文件系統(tǒng)HDFS的簡介
2. HDFS系統(tǒng)的主從式平臺架構(gòu)和工作原理
3. HDFS核心組件技術(shù)講解
4. 基于HDFS的大型存儲系統(tǒng)應(yīng)用開發(fā)實戰(zhàn)
5. HDFS集群的安裝、部署、配置與性能優(yōu)化實踐
6. HDFS與Linux NFS3交互技術(shù)以及本地化部署應(yīng)用實踐
7. 分布式鍵值存儲系統(tǒng)的平臺架構(gòu)、核心技術(shù)以及應(yīng)用開發(fā)
8. PB級大數(shù)據(jù)存儲項目的案例分析
大數(shù)據(jù)MapReduce與Yarn并行處理平臺
1. MapReduce并行計算模型
2. MapReduce作業(yè)執(zhí)行與調(diào)度技術(shù)
3. 第二代大數(shù)據(jù)計算框架Yarn的工作原理以及DAG并行執(zhí)行機(jī)制
4. MapReduce應(yīng)用開發(fā)環(huán)境的部署，以及大數(shù)據(jù)并行處理應(yīng)用程序開發(fā)
5. MapReduce高級編程技巧與性能優(yōu)化實踐
6. MapReduce與Yarn大數(shù)據(jù)分析處理案例分析
Hadoop應(yīng)用實踐操作訓(xùn)練
1. 部署與配置HDFS，熟練操作HDFS SHELL，HDFS與NFS操作，以及HDFS API開發(fā)實踐
2. 部署與配置MapReduce與Yarn及其開發(fā)實踐
3. Hadoop的Linux二次開發(fā)環(huán)境部署與配置
第二天上午 HBase分布式數(shù)據(jù)庫管理系統(tǒng)
1. NoSQL數(shù)據(jù)庫與NewSQL數(shù)據(jù)庫技術(shù)介紹，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)方面的應(yīng)用實踐
2. HBase分布式數(shù)據(jù)庫簡介、數(shù)據(jù)模型以及工作原理
3. HBase分布式數(shù)據(jù)庫集群的平臺架構(gòu)和關(guān)鍵技術(shù)剖析
4. HBase應(yīng)用項目開發(fā)技巧，以及客戶端開發(fā)實戰(zhàn)
5. HBase表設(shè)計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理API調(diào)用
6. HBase集群的安裝部署與配置優(yōu)化
7. ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
8. HBase集群的運(yùn)維與監(jiān)控管理
HBase半結(jié)構(gòu)化數(shù)據(jù)管理應(yīng)用實踐操作訓(xùn)練
1. 部署與配置HBase集群以及HBase的性能優(yōu)化
2. 部署與配置ZooKeeper分布式集群
3. 構(gòu)建HBase開發(fā)環(huán)境
4. HBase數(shù)據(jù)庫操作及項目實踐
第二天下午 Hive大型數(shù)據(jù)倉庫集群平臺及其應(yīng)用實踐
1. 基于Hadoop的大型分布式數(shù)據(jù)倉庫基礎(chǔ)知識，HIVE在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例
2. Hive大數(shù)據(jù)倉庫簡介以及應(yīng)用介紹
3. Hive數(shù)據(jù)倉庫集群的平臺體系結(jié)構(gòu)、核心技術(shù)剖析
4. Hive Server的工作原理、機(jī)制與應(yīng)用
5. Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化
6. Hive應(yīng)用開發(fā)技巧
7. Hive SQL剖析與應(yīng)用實踐
8. Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
9. Hive數(shù)據(jù)倉庫報表設(shè)計
10. Hive JDBC與ODBC的工作原理與實現(xiàn)機(jī)制
11. Hive HWI、CLI客戶端操作以及UDF應(yīng)用實踐
Mahout大數(shù)據(jù)分析挖掘平臺及其應(yīng)用實踐
1. Mahout集群的安裝部署與配置優(yōu)化
2. Mahout實現(xiàn)客戶分析，廣告分析，日志分析，規(guī)律預(yù)測，關(guān)聯(lián)分析，定向推薦等應(yīng)用程序的開發(fā)與應(yīng)用實戰(zhàn)
3. Mahout性能優(yōu)化與分析挖掘算法參數(shù)的優(yōu)化技巧
Hive數(shù)據(jù)倉庫與Mahout數(shù)據(jù)挖掘平臺的應(yīng)用實踐操作訓(xùn)練 1. 部署與配置HIVE集群，以及HIVE性能調(diào)優(yōu)
2. 構(gòu)建HIVE開發(fā)環(huán)境
3. HIVE數(shù)據(jù)倉庫操作及項目實踐
4. 實現(xiàn)Mahout與Hadoop HBase的應(yīng)用集成，實現(xiàn)日志數(shù)據(jù)分析挖掘項目的應(yīng)用實踐
第三天上午 Spark大數(shù)據(jù)實時處理平臺剖析
1. Spark的發(fā)展歷程以及業(yè)界的實際應(yīng)用介紹
2. Spark實時大數(shù)據(jù)處理平臺架構(gòu)
3. Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機(jī)制
4. Spark的核心組件剖析
5. 基于Spark的實時數(shù)據(jù)倉庫與實時分析挖掘處理在行業(yè)中的應(yīng)用實踐案例
基于Spark的實時數(shù)據(jù)倉庫和實時數(shù)據(jù)分析挖掘處理平臺的實現(xiàn)機(jī)制，以及SparkSQL，Spark Streaming，MLib，GraphX，SparkR的應(yīng)用實踐
1. 內(nèi)存計算模型和實時處理技術(shù)介紹
2. Spark中各個分布式組件的處理框架及工作原理
3. Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理機(jī)制及應(yīng)用實踐
4. Spark Streaming流式數(shù)據(jù)實時處理機(jī)制及應(yīng)用實踐
5. Spark MLib實時機(jī)器學(xué)習(xí)算法應(yīng)用實踐與案例應(yīng)用
6. Spark GraphX實時圖數(shù)據(jù)處理應(yīng)用實踐與社交網(wǎng)絡(luò)分析應(yīng)用案例
7. SparkR的實現(xiàn)原理與應(yīng)用實踐
8. Spark組件的應(yīng)用編程開發(fā)實戰(zhàn)
9. Spark與Hadoop的集成解決方案實踐
Spark平臺與各個組件的實踐操作訓(xùn)練
1. 部署與配置Spark集群，以及Spark性能調(diào)優(yōu)
2. 構(gòu)建Spark開發(fā)環(huán)境
3. Spark程序運(yùn)行以及操作
4. Spark SQL應(yīng)用操作實訓(xùn)
5. Spark Streaming應(yīng)用操作實訓(xùn)
6. Spark MLib應(yīng)用操作實訓(xùn)
7. Spark GraphX應(yīng)用操作實訓(xùn)
8. SparkR應(yīng)用操作實訓(xùn)
9. Spark與HBase集成數(shù)據(jù)分析實驗實訓(xùn)
第三天下午 Storm流式數(shù)據(jù)處理平臺架構(gòu)及其應(yīng)用實踐
1. Storm流式處理系統(tǒng)的平臺架構(gòu)和工作原理
2. Storm關(guān)鍵技術(shù)剖析
3. Storm集群安裝部署與配置優(yōu)化
4. Storm日志流數(shù)據(jù)分析項目應(yīng)用實戰(zhàn)
5. Storm和Hadoop，Spark的應(yīng)用集成項目實踐
大數(shù)據(jù)智能化ETL操作工具以及Hadoop集群運(yùn)維監(jiān)控工具平臺應(yīng)用
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理，以及Sqoop集群安裝部署與配置
3. Kettle集群的平臺架構(gòu)、核心技術(shù)工作原理以及應(yīng)用案例
4. Kettle大數(shù)據(jù)ETL工具的部署與配置，以及應(yīng)用實戰(zhàn)
5. 利用Sqoop實現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互程序
6. Hadoop大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng)HUE平臺的安裝部署與應(yīng)用配置
7. Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部署與應(yīng)用配置
8. Hadoop集群運(yùn)維系統(tǒng)Ganglia, Nagios的安裝部署與應(yīng)用配置
大數(shù)據(jù)分布式采集與分布式消息訂閱系統(tǒng)及其應(yīng)用實踐（可選）
1. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
2. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
內(nèi)存數(shù)據(jù)庫管理系統(tǒng)及其應(yīng)用實踐（可選）
1. Impala實時查詢系統(tǒng)平臺架構(gòu)、核心關(guān)鍵技術(shù)剖析
2. Impala實時查詢系統(tǒng)的部署與應(yīng)用開發(fā)實踐
3. Redis內(nèi)存數(shù)據(jù)庫集群架構(gòu)以及核心技術(shù)剖析
4. Redis集群的部署與應(yīng)用開發(fā)實戰(zhàn)與案例分析
Cassandra數(shù)據(jù)管理系統(tǒng)應(yīng)用實踐（可選）
1. Cassandra集群的平臺架構(gòu)以及核心關(guān)鍵技術(shù)
2. Cassandra一致性哈希算法與數(shù)據(jù)對象分布策略
3. Cassandra集群的安裝部署與配置優(yōu)化
4. Cassandra應(yīng)用開發(fā)實戰(zhàn)與案例分析
大數(shù)據(jù)項目應(yīng)用完整實踐與咨詢討論
1. 根據(jù)講師布置的實際應(yīng)用案例，開展大數(shù)據(jù)完整項目部署設(shè)計和應(yīng)用開發(fā)實踐
2. 大數(shù)據(jù)項目的需求分析、應(yīng)用實施以及解決方案分享咨詢與交流討論
培訓(xùn)費(fèi)用
5800 元/人（含培訓(xùn)費(fèi)、考試費(fèi)、證書費(fèi)、資料費(fèi)、午餐） 食宿統(tǒng)一安排，費(fèi)用自理。
請學(xué)員帶一寸彩照二張（背面注明姓名），身份證復(fù)印件一張。
根據(jù)黨中央和國務(wù)院“互聯(lián)網(wǎng)+”行動計劃戰(zhàn)略布局，落實國務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動綱要，響應(yīng)工業(yè)和信息化部培養(yǎng)大數(shù)據(jù)技術(shù)高端人才的號召,中國電子標(biāo)準(zhǔn)協(xié)會特推出了大數(shù)據(jù)平臺Hadoop與Spark架構(gòu)技術(shù)及應(yīng)用實戰(zhàn)課程培訓(xùn)班。通過專業(yè)的大數(shù)據(jù)Hadoop與Spark技術(shù)架構(gòu)體系與業(yè)界真實案例來全面提升大數(shù)據(jù)項目高管、大數(shù)據(jù)平臺架構(gòu)師，以及大數(shù)據(jù)開發(fā)工程師與大數(shù)據(jù)應(yīng)用設(shè)計人員的專業(yè)水平，旨在培養(yǎng)專業(yè)的大數(shù)據(jù)Hadoop與Spark技術(shù)架構(gòu)專家，培養(yǎng)大數(shù)據(jù)技術(shù)和應(yīng)用創(chuàng)新型人才，促進(jìn)大數(shù)據(jù)技術(shù)在各行業(yè)內(nèi)部及跨行業(yè)進(jìn)行實施應(yīng)用，以及企事業(yè)單位的大數(shù)據(jù)項目開發(fā)和落地，并利用大數(shù)據(jù)提升競爭力優(yōu)勢�，F(xiàn)將相關(guān)事宜通知如下：
一、 培訓(xùn)特色
1. 課程培訓(xùn)業(yè)界最流行、應(yīng)用最廣泛的Hadoop與Spark大數(shù)據(jù)技術(shù)體系。強(qiáng)化大數(shù)據(jù)平臺的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實現(xiàn)、大數(shù)據(jù)應(yīng)用項目開發(fā)和大數(shù)據(jù)集群運(yùn)維實踐、以及Hadoop與Spark大數(shù)據(jù)項目應(yīng)用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實戰(zhàn)。
2. 通過一個完整的大數(shù)據(jù)開發(fā)項目及一組實際項目訓(xùn)練案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺的應(yīng)用開發(fā)與運(yùn)維實踐。課堂實踐項目以項目小組的形式進(jìn)行沙盤實操練習(xí)，重點強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項目各個階段的工作重點，同時掌握作為大數(shù)據(jù)項目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。
3. 本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項目的資深講師，采用原理技術(shù)剖析和實戰(zhàn)案例相結(jié)合的方式開展互動教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時促進(jìn)講師學(xué)員之間的交流，讓每個學(xué)員都能在課程培訓(xùn)過程中學(xué)到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實戰(zhàn)技能，具備實際大數(shù)據(jù)應(yīng)用項目的動手開發(fā)實踐與運(yùn)維管理部署能力。授課過程中，根據(jù)學(xué)員需求，增設(shè)交流環(huán)節(jié)，可將具體工作中遇到的實際問題展開討論，講師會根據(jù)學(xué)員的實際情況微調(diào)授課內(nèi)容，由講師帶著全部學(xué)員積極討論，并給出一定的時間讓學(xué)員上臺發(fā)言，現(xiàn)場剖析問題的癥結(jié)，規(guī)劃出可行的解決方案。
二、 培訓(xùn)目標(biāo)
通過本次課程的培訓(xùn)，學(xué)員可達(dá)到如下目標(biāo)：
1. 深刻理解在“互聯(lián)網(wǎng)+”時代下大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程和演化趨勢；
2. 了解業(yè)界市場需求和國內(nèi)外最新的大數(shù)據(jù)技術(shù)潮流，洞察大數(shù)據(jù)的潛在價值，；
3. 理解大數(shù)據(jù)項目解決方案及業(yè)界大數(shù)據(jù)應(yīng)用案例，從而為企業(yè)在大數(shù)據(jù)項目中的技術(shù)選型及技術(shù)架構(gòu)設(shè)計提供決策參考；
4. 全面掌握業(yè)界最流行的Hadoop與Spark大數(shù)據(jù)技術(shù)體系；
5. 掌握大數(shù)據(jù)采集技術(shù)；
6. 掌握大數(shù)據(jù)分布式存儲技術(shù)；
7. 掌握NoSQL與NewSQL分布式數(shù)據(jù)庫技術(shù)；
8. 掌握大數(shù)據(jù)倉庫與統(tǒng)計機(jī)器學(xué)習(xí)技術(shù)；
9. 掌握大數(shù)據(jù)分析挖掘與商業(yè)智能（BI）技術(shù)；
10. 掌握大數(shù)據(jù)離線處理技術(shù)；
11. 掌握Storm流式大數(shù)據(jù)處理技術(shù)；
12. 掌握基于內(nèi)存計算的大數(shù)據(jù)實時處理技術(shù)；
13. 掌握大數(shù)據(jù)管理技術(shù)的原理知識和應(yīng)用實戰(zhàn)；
14. 深入理解大數(shù)據(jù)平臺技術(shù)架構(gòu)和使用場景；
15. 嫻熟地運(yùn)用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實際項目需求；
16. 掌握如何部署符合生產(chǎn)環(huán)境要求的Hadoop大數(shù)據(jù)集群；
17. 熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺進(jìn)行應(yīng)用程序開發(fā)、集群運(yùn)維管理和性能調(diào)優(yōu)技巧。
三、 課程大綱
時間 課程模塊 課程內(nèi)容
第一天上午 大數(shù)據(jù)技術(shù)基礎(chǔ)
1. 大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程
2. 大數(shù)據(jù)和云計算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應(yīng)用趨勢
5. 大數(shù)據(jù)項目的技術(shù)選型與架構(gòu)設(shè)計
6. “互聯(lián)網(wǎng)+”時代下的電子商務(wù)、制造業(yè)、零售批發(fā)業(yè)、電信運(yùn)營商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子政務(wù)、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實踐與應(yīng)用案例剖析
業(yè)界主流的大數(shù)據(jù)技術(shù)產(chǎn)品與項目解決方案
1. 國內(nèi)外主流的大數(shù)據(jù)解決方案介紹
2. 當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較
3. Apache大數(shù)據(jù)平臺方案剖析
4. CDH大數(shù)據(jù)平臺方案剖析
5. HDP大數(shù)據(jù)平臺方案剖析
6. 開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
Hadoop大數(shù)據(jù)平臺剖析
1. Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實際應(yīng)用介紹
2. Hadoop大數(shù)據(jù)平臺架構(gòu)
3. 基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機(jī)制
4. Hadoop的核心組件剖析
第一天下午 大數(shù)據(jù)分布式存儲系統(tǒng)原理及其應(yīng)用實踐
1. 分布式文件系統(tǒng)HDFS的簡介
2. HDFS系統(tǒng)的主從式平臺架構(gòu)和工作原理
3. HDFS核心組件技術(shù)講解
4. 基于HDFS的大型存儲系統(tǒng)應(yīng)用開發(fā)實戰(zhàn)
5. HDFS集群的安裝、部署、配置與性能優(yōu)化實踐
6. HDFS與Linux NFS3交互技術(shù)以及本地化部署應(yīng)用實踐
7. 分布式鍵值存儲系統(tǒng)的平臺架構(gòu)、核心技術(shù)以及應(yīng)用開發(fā)
8. PB級大數(shù)據(jù)存儲項目的案例分析
大數(shù)據(jù)MapReduce與Yarn并行處理平臺
1. MapReduce并行計算模型
2. MapReduce作業(yè)執(zhí)行與調(diào)度技術(shù)
3. 第二代大數(shù)據(jù)計算框架Yarn的工作原理以及DAG并行執(zhí)行機(jī)制
4. MapReduce應(yīng)用開發(fā)環(huán)境的部署，以及大數(shù)據(jù)并行處理應(yīng)用程序開發(fā)
5. MapReduce高級編程技巧與性能優(yōu)化實踐
6. MapReduce與Yarn大數(shù)據(jù)分析處理案例分析
Hadoop應(yīng)用實踐操作訓(xùn)練
1. 部署與配置HDFS，熟練操作HDFS SHELL，HDFS與NFS操作，以及HDFS API開發(fā)實踐
2. 部署與配置MapReduce與Yarn及其開發(fā)實踐
3. Hadoop的Linux二次開發(fā)環(huán)境部署與配置
第二天上午 HBase分布式數(shù)據(jù)庫管理系統(tǒng)
1. NoSQL數(shù)據(jù)庫與NewSQL數(shù)據(jù)庫技術(shù)介紹，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)方面的應(yīng)用實踐
2. HBase分布式數(shù)據(jù)庫簡介、數(shù)據(jù)模型以及工作原理
3. HBase分布式數(shù)據(jù)庫集群的平臺架構(gòu)和關(guān)鍵技術(shù)剖析
4. HBase應(yīng)用項目開發(fā)技巧，以及客戶端開發(fā)實戰(zhàn)
5. HBase表設(shè)計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理API調(diào)用
6. HBase集群的安裝部署與配置優(yōu)化
7. ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
8. HBase集群的運(yùn)維與監(jiān)控管理
HBase半結(jié)構(gòu)化數(shù)據(jù)管理應(yīng)用實踐操作訓(xùn)練
1. 部署與配置HBase集群以及HBase的性能優(yōu)化
2. 部署與配置ZooKeeper分布式集群
3. 構(gòu)建HBase開發(fā)環(huán)境
4. HBase數(shù)據(jù)庫操作及項目實踐
第二天下午 Hive大型數(shù)據(jù)倉庫集群平臺及其應(yīng)用實踐
1. 基于Hadoop的大型分布式數(shù)據(jù)倉庫基礎(chǔ)知識，HIVE在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例
2. Hive大數(shù)據(jù)倉庫簡介以及應(yīng)用介紹
3. Hive數(shù)據(jù)倉庫集群的平臺體系結(jié)構(gòu)、核心技術(shù)剖析
4. Hive Server的工作原理、機(jī)制與應(yīng)用
5. Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化
6. Hive應(yīng)用開發(fā)技巧
7. Hive SQL剖析與應(yīng)用實踐
8. Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
9. Hive數(shù)據(jù)倉庫報表設(shè)計
10. Hive JDBC與ODBC的工作原理與實現(xiàn)機(jī)制
11. Hive HWI、CLI客戶端操作以及UDF應(yīng)用實踐
Mahout大數(shù)據(jù)分析挖掘平臺及其應(yīng)用實踐
1. Mahout集群的安裝部署與配置優(yōu)化
2. Mahout實現(xiàn)客戶分析，廣告分析，日志分析，規(guī)律預(yù)測，關(guān)聯(lián)分析，定向推薦等應(yīng)用程序的開發(fā)與應(yīng)用實戰(zhàn)
3. Mahout性能優(yōu)化與分析挖掘算法參數(shù)的優(yōu)化技巧
Hive數(shù)據(jù)倉庫與Mahout數(shù)據(jù)挖掘平臺的應(yīng)用實踐操作訓(xùn)練 1. 部署與配置HIVE集群，以及HIVE性能調(diào)優(yōu)
2. 構(gòu)建HIVE開發(fā)環(huán)境
3. HIVE數(shù)據(jù)倉庫操作及項目實踐
4. 實現(xiàn)Mahout與Hadoop HBase的應(yīng)用集成，實現(xiàn)日志數(shù)據(jù)分析挖掘項目的應(yīng)用實踐
第三天上午 Spark大數(shù)據(jù)實時處理平臺剖析
1. Spark的發(fā)展歷程以及業(yè)界的實際應(yīng)用介紹
2. Spark實時大數(shù)據(jù)處理平臺架構(gòu)
3. Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機(jī)制
4. Spark的核心組件剖析
5. 基于Spark的實時數(shù)據(jù)倉庫與實時分析挖掘處理在行業(yè)中的應(yīng)用實踐案例
基于Spark的實時數(shù)據(jù)倉庫和實時數(shù)據(jù)分析挖掘處理平臺的實現(xiàn)機(jī)制，以及SparkSQL，Spark Streaming，MLib，GraphX，SparkR的應(yīng)用實踐
1. 內(nèi)存計算模型和實時處理技術(shù)介紹
2. Spark中各個分布式組件的處理框架及工作原理
3. Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理機(jī)制及應(yīng)用實踐
4. Spark Streaming流式數(shù)據(jù)實時處理機(jī)制及應(yīng)用實踐
5. Spark MLib實時機(jī)器學(xué)習(xí)算法應(yīng)用實踐與案例應(yīng)用
6. Spark GraphX實時圖數(shù)據(jù)處理應(yīng)用實踐與社交網(wǎng)絡(luò)分析應(yīng)用案例
7. SparkR的實現(xiàn)原理與應(yīng)用實踐
8. Spark組件的應(yīng)用編程開發(fā)實戰(zhàn)
9. Spark與Hadoop的集成解決方案實踐
Spark平臺與各個組件的實踐操作訓(xùn)練
1. 部署與配置Spark集群，以及Spark性能調(diào)優(yōu)
2. 構(gòu)建Spark開發(fā)環(huán)境
3. Spark程序運(yùn)行以及操作
4. Spark SQL應(yīng)用操作實訓(xùn)
5. Spark Streaming應(yīng)用操作實訓(xùn)
6. Spark MLib應(yīng)用操作實訓(xùn)
7. Spark GraphX應(yīng)用操作實訓(xùn)
8. SparkR應(yīng)用操作實訓(xùn)
9. Spark與HBase集成數(shù)據(jù)分析實驗實訓(xùn)
第三天下午 Storm流式數(shù)據(jù)處理平臺架構(gòu)及其應(yīng)用實踐
1. Storm流式處理系統(tǒng)的平臺架構(gòu)和工作原理
2. Storm關(guān)鍵技術(shù)剖析
3. Storm集群安裝部署與配置優(yōu)化
4. Storm日志流數(shù)據(jù)分析項目應(yīng)用實戰(zhàn)
5. Storm和Hadoop，Spark的應(yīng)用集成項目實踐
大數(shù)據(jù)智能化ETL操作工具以及Hadoop集群運(yùn)維監(jiān)控工具平臺應(yīng)用
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理，以及Sqoop集群安裝部署與配置
3. Kettle集群的平臺架構(gòu)、核心技術(shù)工作原理以及應(yīng)用案例
4. Kettle大數(shù)據(jù)ETL工具的部署與配置，以及應(yīng)用實戰(zhàn)
5. 利用Sqoop實現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互程序
6. Hadoop大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng)HUE平臺的安裝部署與應(yīng)用配置
7. Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部署與應(yīng)用配置
8. Hadoop集群運(yùn)維系統(tǒng)Ganglia, Nagios的安裝部署與應(yīng)用配置
大數(shù)據(jù)分布式采集與分布式消息訂閱系統(tǒng)及其應(yīng)用實踐（可選）
1. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
2. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺架構(gòu)、集群部署與配置應(yīng)用實戰(zhàn)
內(nèi)存數(shù)據(jù)庫管理系統(tǒng)及其應(yīng)用實踐（可選）
1. Impala實時查詢系統(tǒng)平臺架構(gòu)、核心關(guān)鍵技術(shù)剖析
2. Impala實時查詢系統(tǒng)的部署與應(yīng)用開發(fā)實踐
3. Redis內(nèi)存數(shù)據(jù)庫集群架構(gòu)以及核心技術(shù)剖析
4. Redis集群的部署與應(yīng)用開發(fā)實戰(zhàn)與案例分析
Cassandra數(shù)據(jù)管理系統(tǒng)應(yīng)用實踐（可選）
1. Cassandra集群的平臺架構(gòu)以及核心關(guān)鍵技術(shù)
2. Cassandra一致性哈希算法與數(shù)據(jù)對象分布策略
3. Cassandra集群的安裝部署與配置優(yōu)化
4. Cassandra應(yīng)用開發(fā)實戰(zhàn)與案例分析
大數(shù)據(jù)項目應(yīng)用完整實踐與咨詢討論
1. 根據(jù)講師布置的實際應(yīng)用案例，開展大數(shù)據(jù)完整項目部署設(shè)計和應(yīng)用開發(fā)實踐
2. 大數(shù)據(jù)項目的需求分析、應(yīng)用實施以及解決方案分享咨詢與交流討論
培訓(xùn)費(fèi)用
5800 元/人（含培訓(xùn)費(fèi)、考試費(fèi)、證書費(fèi)、資料費(fèi)、午餐） 食宿統(tǒng)一安排，費(fèi)用自理。
請學(xué)員帶一寸彩照二張（背面注明姓名），身份證復(fù)印件一張。
講師簡介
專家 老師
鐘老師
現(xiàn)任職于中科院某研究所，高級工程師，副高職稱，項目組負(fù)責(zé)人，博士畢業(yè)于中國科學(xué)院計算技術(shù)研究所，獲工學(xué)博士學(xué)位（計算機(jī)系統(tǒng)結(jié)構(gòu)方向）。中國電子標(biāo)準(zhǔn)協(xié)會的大數(shù)據(jù)、云計算、移動互聯(lián)網(wǎng)系列課程建設(shè)與教學(xué)專家。近六年來帶領(lǐng)團(tuán)隊主要從事大數(shù)據(jù)與云計算技術(shù)項目的研發(fā)與IT項目管理工作。鐘老師有著多年的企業(yè)內(nèi)訓(xùn)和公開課培訓(xùn)講師經(jīng)歷，主要講授大數(shù)據(jù)平臺技術(shù)、云計算、移動互聯(lián)網(wǎng)、電子商務(wù)、IT信息軟件項目管理、企業(yè)信息化規(guī)劃與管理、IT戰(zhàn)略規(guī)劃與企業(yè)架構(gòu)、數(shù)據(jù)中心主機(jī)規(guī)劃與IDC系統(tǒng)運(yùn)營等企業(yè)實戰(zhàn)類培訓(xùn)課程。鐘老師將原理技術(shù)剖析和應(yīng)用實戰(zhàn)相結(jié)合的授課風(fēng)格受到廣大公開課學(xué)員和企業(yè)內(nèi)訓(xùn)學(xué)員的歡迎。
蔣老師
清華大學(xué)博士，云計算專家 熟悉主流的云計算平臺，并有商業(yè)與開源云計算平臺的實踐經(jīng)驗,對云計算關(guān)鍵技術(shù)有深刻了解和實踐經(jīng)驗，如分布式系統(tǒng)、虛擬化、分布式文件系統(tǒng)、云存儲等，參與并領(lǐng)導(dǎo)多個大型云計算項目。對大數(shù)據(jù)關(guān)鍵技術(shù)有深刻了解和實踐經(jīng)驗，如NoSQL數(shù)據(jù)庫、大數(shù)據(jù)處理、Hadoop、Hive、HBase、Spark等。
錢老師
大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開發(fā)和架構(gòu)設(shè)計的工作；資深云計算研發(fā)工程師。作為項目的主要成員和負(fù)責(zé)人參與并領(lǐng)導(dǎo)完成了多個大型復(fù)雜項目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實時數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計并實現(xiàn)了實時索引系統(tǒng)-云搜，成功應(yīng)用與某國企知識庫系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個云計算解決方案的架構(gòu)，涉及到金融行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計系統(tǒng)等，獲得業(yè)界認(rèn)可
課程對象
備 注
課程名稱：大數(shù)據(jù)Hadoop與Spark架構(gòu)應(yīng)用實戰(zhàn)
| 咨詢電話：020-29042042 QQ： 59870764 |
報 名 回 執(zhí) 表
為確保您的報名名額和及時參加，請?zhí)崆皩⒋耍▓竺恚?/font>E-mail至674837974@QQ.com；721560397@QQ.COM（符小姐、黃小姐）我們將有專人與您聯(lián)系確認(rèn)，并于開課前發(fā)出《培訓(xùn)報名確認(rèn)函》。培訓(xùn)時間、地點、住宿等詳細(xì)信息請以《培訓(xùn)報名確認(rèn)函》書面通知為準(zhǔn)，敬請留意。謝謝！
聯(lián)系人：符小姐 電話：18588851172 QQ：674837974 |
網(wǎng)址：m.aokangtiyu.cn（中國培訓(xùn)易）
課程名稱：大數(shù)據(jù)Hadoop與Spark架構(gòu)應(yīng)用實戰(zhàn) 時間地區(qū)：____月____日_____市 | |||||
公司全稱： | |||||
聯(lián)系人 | | 部門 | | 公司網(wǎng)址 | |
聯(lián)系電話 | | 傳真 | | 聯(lián)系郵箱 | |
公司地址 | | 郵編 | | ||
參會人數(shù): 名 | |||||
參會人員資料 | |||||
姓名 | 職務(wù) | 電話 | 手機(jī) | E-mail | |
| | | | | |
| | | | | |
| | | | | |
付款方式: □ 轉(zhuǎn)帳 □ 現(xiàn)金 （請選擇 在□打√） 注：部分地區(qū)不可現(xiàn)金
開戶人: 廣州必學(xué)企業(yè)管理咨詢有限公司 開戶行: 中國農(nóng)業(yè)銀行廣州天銀大廈支行 帳 號: 4405 8501 0400 08276 | |||||
課程金額：__________ | |||||
住宿要求（費(fèi)用自理，開課前三天預(yù)訂） | |||||
是否需要會務(wù)組協(xié)助安排住宿: □是 □否 入住天數(shù)（ ）天 入住時間 2025 年 月 日 □標(biāo)準(zhǔn)雙人間（ ）間 □標(biāo)準(zhǔn)單人間（ ）間 | |||||
發(fā)票信息： 一、增值稅普通發(fā)票（數(shù)電票）： 公司名稱（發(fā)票抬頭）： 納稅人識別號： 發(fā)票內(nèi)容：□1、*現(xiàn)代服務(wù)*培訓(xùn)費(fèi) □2、*現(xiàn)代服務(wù)*咨詢服務(wù)費(fèi) □3、*現(xiàn)代服務(wù)*咨詢費(fèi) □4、*現(xiàn)代服務(wù)*培訓(xùn)咨詢服務(wù)費(fèi) 二、增值稅專用發(fā)票（數(shù)電票）： 公司名稱： 納稅人識別號： 發(fā)票內(nèi)容：□1、*現(xiàn)代服務(wù)*培訓(xùn)費(fèi) | |||||