《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》課程詳情
點(diǎn)擊下載課大綱及報(bào)名表 各有關(guān)單位：
當(dāng)下是大數(shù)據(jù)時(shí)代，為構(gòu)建大數(shù)據(jù)平臺(tái)，技術(shù)人員需要對(duì)分布式計(jì)算平臺(tái)有一定深入的理解和應(yīng)用。MapReduce作為一個(gè)經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問(wèn)題，包括迭代式計(jì)算和DAG計(jì)算等類(lèi)型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問(wèn)題，新型計(jì)算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺(tái)遷移到Spark平臺(tái)中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營(yíng)商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問(wèn)題，部分銀行，如工商銀行，也正在嘗試spark平臺(tái)。因此我們決定開(kāi)展“Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師”實(shí)戰(zhàn)培訓(xùn)班，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:

培訓(xùn)特色
本課程將分別從理論基礎(chǔ)知識(shí)，系統(tǒng)搭建以及應(yīng)用案例三方面對(duì)spark進(jìn)行介紹。
采用循序漸進(jìn)的課程講授方法，首先講解Spark系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)，之后講解Spark實(shí)戰(zhàn)技巧，最后詳盡地介紹Spark經(jīng)典案例，使培訓(xùn)者從概念到實(shí)戰(zhàn)，均會(huì)有收獲和提高。

培訓(xùn)費(fèi)用及須知
培訓(xùn)費(fèi)6800元。（含培訓(xùn)費(fèi)、資料費(fèi)、考試費(fèi)、證書(shū)費(fèi)、講義光盤(pán)費(fèi)等）。需要住宿學(xué)員請(qǐng)?zhí)崆巴ㄖ�，可統(tǒng)一安排，費(fèi)用自理。

培訓(xùn)大綱（3天課程）

模塊一
Spark 2.1概述
1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計(jì)算框架并存等
2、Spark 基本特點(diǎn)
3、Spark版本演化
4、Spark核心概念，包括RDD, transformation, action, cache等
5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系
6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用
7、介紹當(dāng)前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例
8、Spark集群搭建，包括測(cè)試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個(gè)過(guò)程
9、背景知識(shí)補(bǔ)充介紹

模塊二
Spark Core
Spark 程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
1、Spark運(yùn)行模式介紹
Spark運(yùn)行組件構(gòu)成，spark運(yùn)行模式（local、standalone、mesos/yarn等）
2、Spark開(kāi)發(fā)環(huán)境構(gòu)建
集成開(kāi)發(fā)環(huán)境選擇，親手演示spark程序開(kāi)發(fā)與調(diào)試，spark運(yùn)行
3、常見(jiàn)transformation與action用法
介紹常見(jiàn)transformation與action使用方法，以及代碼片段剖析
4、常見(jiàn)控制函數(shù)介紹
包括cache、broadcast、accumulator等
5、Spark 應(yīng)用案例：點(diǎn)擊流日志分析
包括：背景介紹，數(shù)據(jù)導(dǎo)入，數(shù)據(jù)分析，常見(jiàn)Spark transformation和action用法在線演示

模塊三
Spark
內(nèi)部原理剖析與源碼閱讀
1、Spark運(yùn)行模式剖析
深入分析spark運(yùn)行模式，包括local，standalone以及spark on yarn
2、Spark運(yùn)行流程剖析
包括spark邏輯查詢(xún)計(jì)劃，物理查詢(xún)計(jì)劃以及分布式執(zhí)行
3、Spark shuffle剖析
深入介紹spark shuffle的實(shí)現(xiàn)，主要介紹hash-based和sort-based兩種實(shí)現(xiàn)
4、Spark 源碼閱讀
Spark源碼構(gòu)成以及閱讀方法

模塊三
Spark
程序調(diào)優(yōu)技巧
1、數(shù)據(jù)存儲(chǔ)格式調(diào)優(yōu)數(shù)據(jù)存儲(chǔ)格式選擇，數(shù)據(jù)壓縮算法選擇等
2、資源調(diào)優(yōu)
如何設(shè)置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶(hù)調(diào)度器合理設(shè)置，啟用YARN的標(biāo)簽調(diào)度策略等
3、程序參數(shù)調(diào)優(yōu)
介紹常見(jiàn)的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務(wù)并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等
4、程序?qū)崿F(xiàn)調(diào)優(yōu)
如何選擇最合適的transformation與action函數(shù)
5、調(diào)優(yōu)案例分享與演示
演示一個(gè)調(diào)優(yōu)案例，如何將一個(gè)spark程序的性能逐步優(yōu)化20倍以上。

模塊四
Spark sql 2.1
Spark SQL基本原理
1、Spark SQL是什么
2、Spark SQL基本原理
3、Spark Dataframe與DataSet
4、Spark SQL與Spark Core的關(guān)系

模塊五
Spark SQL
程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
1、Spark SQL程序設(shè)計(jì)
a. 如何訪問(wèn)MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù)
b. 常用的DSL語(yǔ)法有哪些，如何使用
c. Spark SQL調(diào)優(yōu)技巧
d. 數(shù)據(jù)傾斜解決方案

模塊六
Spark Streaming程序設(shè)計(jì)及應(yīng)用案例
1、Spark Streaming基本原理
a. Spark Streaming是什么
b. Spark Streaming基本原理
c. Structured Streaming
d. Spark Streaming 編程接口介紹
e. Spark Streaming應(yīng)用案例
2、Spark Streaming程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
a. 常見(jiàn)流式數(shù)據(jù)處理模式
b. Spark Streaming與Kafka 交互
c. Spark Streaming與Redis交互
d. Spark Streaming部署與運(yùn)行
e. Spark Streaming企業(yè)級(jí)案例：用戶(hù)行為實(shí)時(shí)分析系統(tǒng)

模塊七
Spark Mllib
Spark MLlib
企業(yè)級(jí)案例
1. Spark MLlib簡(jiǎn)介
2. 數(shù)據(jù)表示方式
3. MLlib中的聚類(lèi)、分類(lèi)和推薦算法
4. 如何使用MLlib的算法
5. Spark MLLib企業(yè)級(jí)案例：用戶(hù)畫(huà)像之性別預(yù)測(cè)

模塊八
Spark綜合案例
信用評(píng)分實(shí)時(shí)分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構(gòu)建離線處理
4. 利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線
5. 整合批處理和實(shí)時(shí)處理線

模塊八
Spark綜合案例
信用評(píng)分實(shí)時(shí)分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構(gòu)建離線處理
4. 利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線
5. 整合批處理和實(shí)時(shí)處理線

模塊九
典型項(xiàng)目
案例實(shí)戰(zhàn)
 基于spark日志分析
 個(gè)性化推薦系統(tǒng)：帶你揭開(kāi)其神秘面紗
 在線投放引擎
 揭開(kāi)淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
 淘寶數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái)


《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》培訓(xùn)受眾
各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營(yíng)商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)spark感興趣的相關(guān)人員。

《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》課程目的
1、 深入理解Spark計(jì)算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式
2、深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧
3、深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧
4、 深入掌握Spark和其他組件的結(jié)合使用
5、 了解Spark與MapReduce分布式計(jì)算模型的區(qū)別和各自適合的使用場(chǎng)景。
6、 能夠使用java、python和scala進(jìn)行spark應(yīng)用開(kāi)發(fā)（如果要講解三種語(yǔ)言開(kāi)發(fā)spark，工作量會(huì)非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來(lái)定，）
7、熟練使用spark、spark streaming、spark SQL、spark mllib
8、深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場(chǎng)景

《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》所屬分類(lèi)
特色課程

《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》所屬專(zhuān)題
excel培訓(xùn)、營(yíng)銷(xiāo)數(shù)據(jù)分析、新媒體營(yíng)銷(xiāo)培訓(xùn)、分析銷(xiāo)售數(shù)據(jù)、

《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》授課培訓(xùn)師簡(jiǎn)介

《關(guān)于舉辦 “Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師” 實(shí)戰(zhàn)培訓(xùn)班的通知》報(bào)名服務(wù)流程

-----------------------------------------------------------------------------------