各有關(guān)單位：
為貫徹落實(shí)黨中央國(guó)務(wù)院“十二五”規(guī)劃指導(dǎo)精神，云計(jì)算作為戰(zhàn)略重點(diǎn)項(xiàng)目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財(cái)政部支持的云計(jì)算項(xiàng)目正式啟動(dòng)，云計(jì)算平臺(tái)和云計(jì)算服務(wù)模式已成為今后IT服務(wù)的主流。云計(jì)算服務(wù)應(yīng)用的種類不斷增多，普及程度逐漸深入，使用者正向普通用戶拓展。未來(lái)，云計(jì)算及其基礎(chǔ)設(shè)施將是信息產(chǎn)業(yè)的核心平臺(tái)，其所蘊(yùn)含的技術(shù)變革和創(chuàng)新服務(wù)模式，將深刻影響全球產(chǎn)業(yè)技術(shù)創(chuàng)新的發(fā)展。
目前，互聯(lián)網(wǎng)正從數(shù)據(jù)爆炸進(jìn)一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時(shí)代，而基于Hadoop技術(shù)的解決方案為海量數(shù)據(jù)存儲(chǔ)和處理提供了經(jīng)濟(jì)、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅(qū)動(dòng)力。由于Hadoop技術(shù)已成為當(dāng)下最火熱的云計(jì)算技術(shù)之一，各行業(yè)中希望深入了解并掌握這門技術(shù)的人也越來(lái)越多，我們決定開(kāi)展“大數(shù)據(jù)處理Hadoop應(yīng)用與開(kāi)發(fā)”實(shí)戰(zhàn)培訓(xùn)班，本次培訓(xùn)由北京天博信通科技有限公司具體承辦，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:


培訓(xùn)時(shí)間和地點(diǎn)
2017年11月15日-11月18日 福州 （15日全天報(bào)到）
2017年11月29日-12月02日 北京 （28日全天報(bào)到）


培訓(xùn)特色
注重應(yīng)用：分析國(guó)內(nèi)實(shí)際情況，結(jié)合國(guó)際、國(guó)內(nèi)成功經(jīng)驗(yàn)。Hadoop采用實(shí)戰(zhàn)的項(xiàng)目，讓學(xué)員在短時(shí)間內(nèi)掌握Hadoop的搭建與配置。并進(jìn)行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動(dòng)課堂、免費(fèi)技術(shù)沙龍、提供云計(jì)算項(xiàng)目建設(shè)咨詢、大數(shù)據(jù)Hadoop平臺(tái)的搭建。


頒發(fā)證書
參加相關(guān)培訓(xùn)并通過(guò)考試的學(xué)員，可以獲得：
工業(yè)和信息化部頒發(fā)的-大數(shù)據(jù)高級(jí)工程師職業(yè)技能證書。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。
注：請(qǐng)學(xué)員帶二寸彩照2張（背面注明姓名）、身份證復(fù)印件一張


培訓(xùn)費(fèi)用及須知
5800 元/人（含教材、培訓(xùn)費(fèi)、以及學(xué)習(xí)用具等費(fèi)用） 食宿統(tǒng)一安排，費(fèi)用自理。


培訓(xùn)內(nèi)容（5天課程）

模塊一：Hadoop簡(jiǎn)介和生態(tài)系統(tǒng)介紹
 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題
 Hadoop概述
 Hadoop與分布式文件系統(tǒng)
 Hadoop生態(tài)系統(tǒng)
 Hadoop的行業(yè)應(yīng)用案例分析
 Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
 Hadoop版本介紹
 Hadoop與Google FS的關(guān)系
 Hadoop在國(guó)內(nèi)的使用情況和未來(lái)
案例和演示：
Hadoop在推薦領(lǐng)域的使用案例介紹


模塊二：大數(shù)據(jù)應(yīng)用場(chǎng)景
 離線計(jì)算架構(gòu)、技術(shù)和應(yīng)用場(chǎng)景
 實(shí)時(shí)查詢架構(gòu)、技術(shù)和應(yīng)用場(chǎng)景
 流式計(jì)算架構(gòu)、技術(shù)和應(yīng)用場(chǎng)景
 內(nèi)存計(jì)算架構(gòu)、技術(shù)和應(yīng)用場(chǎng)景
 海量數(shù)據(jù)的ETL


模塊三：Hadoop組件介紹
 Hadoop NameNode 介紹
 Hadoop SecondaryNameNode 介紹
 Hadoop DataNode 介紹
 Hadoop JobTracker 介紹
 Hadoop TaskTracker 介紹


模塊四：Hadoop的HDFS模塊
 HDFS架構(gòu)介紹
 HDFS原理介紹
 NameNode功能詳解
 DataNode功能詳解
 SecondaryNameNode功能詳解
 HSFD的fsimage和editslog詳解
 HDFS的block詳解
 HDFS的block的備份策略
 Hadoop的機(jī)架感知配置
 HDFS的shell命令介紹
 HDFS的thrift server服務(wù)介紹
 HDFS的API接口介紹
 HDFS的權(quán)限詳解
 Hadoop的客服端接入案例
案例和演示：
Hadoop的shell命令演示
 Hadoop的API接口演示
 Hadoop的客服端接入案例


模塊五：Hadoop生態(tài)組件
 集群管理工具—ambari
 分布式存儲(chǔ)—HDFS
 分布式計(jì)算— MapReduce
 noSQL數(shù)據(jù)庫(kù)—Hbase
 工作流工具—Oozie
 數(shù)據(jù)的并行采集—Flume
 MapReduce腳本工具—Pig
 與關(guān)系型數(shù)據(jù)庫(kù)之間的數(shù)據(jù)遷移—Sqoop
 資源管理平臺(tái)—Yarn
 數(shù)據(jù)挖掘算法—Mahout
 分布式統(tǒng)一服務(wù)—Zookeeper
 Hadoop安全工具—Knox


模塊六：MapReducer入門
 Mapreduce原理
 MapReduce流程
 剖析一個(gè)MapReduce程序
 Mapper和Reducer抽象類詳解
 Mapreduce的最小驅(qū)動(dòng)類
 MapReduce自帶的類型
 自定義Writables和WritableComparables
 Mapreduce的輸入InputFormats
 MapReduce的輸出OutputFormats
 Combiner詳解
 Partitioner詳解
 DistributeFileSystem詳解
 Hadoop Tools工具介紹
 Counter計(jì)數(shù)器詳解
 自定義Counter計(jì)數(shù)器
 基于Hadoop二次開(kāi)發(fā)實(shí)戰(zhàn)
 MapReduce的優(yōu)化
 Map和Reduce的個(gè)數(shù)設(shè)置
 Hadoop小文件優(yōu)化
 任務(wù)調(diào)度
 默認(rèn)的任務(wù)調(diào)度
 公平任務(wù)調(diào)度
 能力任務(wù)調(diào)度
 使用 Hadoop MapReduce Streaming 編程
 MapReduce的單元測(cè)試
案例和演示：
 MapReduce實(shí)現(xiàn)海量數(shù)據(jù)比較大小案例
 自定義Hadoop類型案例
 自定義Partitioner案例
 實(shí)現(xiàn)在內(nèi)存隨機(jī)生成100個(gè)數(shù)，分成兩個(gè)Map來(lái)比較大小
 多文件輸出和自動(dòng)定義MapReduce的輸出名
 MapReduce實(shí)現(xiàn)Join算法案例
 MapReduce實(shí)現(xiàn)海量文檔相似度算法
 自定義Counter案例實(shí)現(xiàn)
 MapReduce實(shí)現(xiàn)Pangrank算法。
 MapReduce單元測(cè)試：Map的單元測(cè)試測(cè)試、reduce單元測(cè)試和MapReduce整體的單元測(cè)試實(shí)戰(zhàn)。
 某公司使用MapReduce分析日志案例（10T數(shù)據(jù)以上）
 配置公平調(diào)度器案例實(shí)戰(zhàn)


模塊七：Yarn資源控制
 使用Cgroups支持CPU隔離
 指定某個(gè)應(yīng)用的資源使用策略；
 根據(jù)指定策略實(shí)現(xiàn) CPU 與內(nèi)存的固定配額調(diào)度
 根據(jù)指定策略實(shí)現(xiàn) CPU 與內(nèi)存百分比的配額調(diào)度
 根據(jù)指定策略實(shí)現(xiàn)不同計(jì)算模型(mapreduce、spark)在各個(gè)計(jì)算節(jié)點(diǎn)的分布
 根據(jù)指定策略實(shí)現(xiàn)不同計(jì)算模型個(gè)對(duì)資源的限定
 根據(jù)指定策略實(shí)現(xiàn)不同計(jì)算模型在具體哪些節(jié)點(diǎn)上啟動(dòng)
 基于Yarn的公平調(diào)度(Fair Scheduler)和能力調(diào)度(Capacity Scheduler)
案例和演示：
 Yarn資源控制實(shí)戰(zhàn)


模塊八：Hive
 Hive和Pig基礎(chǔ)
 Hive、Impala和presto的比較
 Hive的作用和原理說(shuō)明
 Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系
 Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
 Hive 部署和安裝
 Hive Cli 的基本用法
 Hive的server啟動(dòng)
 HQL基本語(yǔ)法
 Hive的加載數(shù)據(jù)本地加載和HDFS加載
 Hive的partition詳解
 Hive的存儲(chǔ)方式詳解
 RCFILE、TEXTFILE和SEQUEUEFILE
 Hive的UDF和UDAF
 Hive的transform詳解
 Hive的JDBC連接
案例和演示：
 使用JDBC 連接Hive進(jìn)行查詢和分析
 使用正則表達(dá)式加載數(shù)據(jù)
 編寫UDF函數(shù)
 編寫UDAF自定義函數(shù)
 Partition使用實(shí)戰(zhàn)
 Transform使用實(shí)戰(zhàn)
 某些大型公司使用hive分析日志案例詳解和實(shí)戰(zhàn)。


模塊九：Hbase使用
 Hbase原理
 Hmaster詳解
 RegionServer詳解
 Zookeeper介紹
 Hbase安裝
 Hbase邏輯視圖介紹
 Hbase物理視圖介紹
 Hbase的二級(jí)索引介紹
 Hbase 的DDL和DML
 Hbase表的設(shè)計(jì)案例
 Hbase的import功能介紹
 MapReduce操作Hbase
 Hbase的 thrift Server介紹
 Hbase 的API介紹
 Hbase案例分析
案例和演示：
 Hbase安裝實(shí)戰(zhàn)
 MapReduce操作Hbase實(shí)戰(zhàn)
 Hbase的API實(shí)戰(zhàn)
 Hbase表結(jié)構(gòu)設(shè)計(jì)實(shí)戰(zhàn)


模塊十：Hadoop企業(yè)級(jí)別案例解析
 Hadoop 結(jié)構(gòu)化數(shù)據(jù)案例
 Hadoop 非結(jié)構(gòu)化案例
 Hbase 數(shù)據(jù)庫(kù)案例
 Hadoop 視頻分析案例
案例和演示：
 利用大數(shù)據(jù)分析改進(jìn)交通管理
 區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例
 銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)
 廣東移動(dòng)省公司請(qǐng)賬單系統(tǒng)
 上海電信網(wǎng)絡(luò)優(yōu)化
 某通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄
 浙江臺(tái)州市智能交通系統(tǒng)
 移動(dòng)廣州詳單實(shí)時(shí)查詢系統(tǒng)
 跨區(qū)域?qū)崟r(shí)視頻監(jiān)控系統(tǒng)


模塊十一：RedHadoop 企業(yè)版本
 運(yùn)用RedHadoop快速構(gòu)建服務(wù)集群
 運(yùn)用RedHadoop DW 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)
案例和演示：
 基于RedHadoop Hive構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)
 靈活運(yùn)用 Hive 加速游戲數(shù)據(jù)倉(cāng)庫(kù)
 基于Pig+OpenCV大規(guī)模圖像人臉識(shí)別


模塊十二：Spark介紹
 內(nèi)存計(jì)算—Spark
 實(shí)時(shí)計(jì)算—Spark Streaming
 SQL on Spark— Spark QL & Shark
 基于spark的數(shù)據(jù)挖掘— Mllib
 基于Spark的圖計(jì)算—graphx
 Spark on Yarn實(shí)戰(zhàn)
案例和演示：
 Spark+Kafka+Spark Streaming+Hbase實(shí)時(shí)計(jì)算實(shí)戰(zhàn)


模塊十三：互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用案例
 阿里的ODPS大數(shù)據(jù)平臺(tái)架構(gòu)介紹
 阿里的實(shí)時(shí)推薦架構(gòu)
 阿里的交叉營(yíng)銷系統(tǒng)
 阿里支付寶交易監(jiān)控系統(tǒng)
 支付寶微貸案例分析(互聯(lián)網(wǎng)征信系統(tǒng))
 京東打白條系統(tǒng)分析
 百度預(yù)測(cè)大數(shù)據(jù)平臺(tái)案例分析
 聯(lián)通大數(shù)據(jù)開(kāi)放平臺(tái)變現(xiàn)案例分析