china0114.com-日韩欧美中文免费,免费视频一区,免费视频一区,国产精品色网

會(huì)議時(shí)間：2017-06-27 至 2017-06-30

會(huì)議地點(diǎn)：上海 上海長(zhǎng)陽(yáng)谷?

課時(shí)：28h/4天

課程介紹

Hadoop 及生態(tài)系統(tǒng)介紹

? ?傳統(tǒng)大規(guī)模系統(tǒng)的問(wèn)題

? ?Hadoop ！

? ?Hadoop 生態(tài)系統(tǒng)

Hadoop 體系結(jié)構(gòu)及 HDFS

? ?機(jī)群環(huán)境下的分布式處理

? ?存儲(chǔ)：HDFS 體系結(jié)構(gòu)

? ?存儲(chǔ)：使用 HDFS

? ?資源管理：YARN 體系結(jié)構(gòu)

? ?資源管理：使用 YARN

使用 Apache Sqoop 導(dǎo)入關(guān)系數(shù)據(jù)

? ?Sqoop 簡(jiǎn)介

? ?數(shù)據(jù)的基本導(dǎo)入導(dǎo)出

? ?減少傳輸?shù)臄?shù)據(jù)量

? ?改善 Sqoop 性能

? ?Sqoop 2

Impala 及 Hive 介紹

? ?簡(jiǎn)介

? ?為什么使用 Impala 及 Hive

? ?Hive 和傳統(tǒng)數(shù)據(jù)庫(kù)的比較

? ?Hive 應(yīng)用場(chǎng)景

使用 Impala 及 Hive 管理數(shù)據(jù)及建模

? ?數(shù)據(jù)存儲(chǔ)

? ?創(chuàng)建數(shù)據(jù)庫(kù)及表

? ?表數(shù)據(jù)導(dǎo)入

? ?HCatalog

? ?Impala 元數(shù)據(jù)緩存

數(shù)據(jù)格式

? ?選擇文件格式

? 支持不同文件格式的工具

? Avro 數(shù)據(jù)格式定義模式

? 在 Hive 及 Sqoop 里使用 Avro

? Avro 格式數(shù)據(jù)模式變更

? 壓縮 數(shù)據(jù)分區(qū)

? 分區(qū)概述

? Impala 及 Hive 里的數(shù)據(jù)分區(qū)

Apache Flume 實(shí)時(shí)數(shù)據(jù)采集

? ?什么是 Apache Flume

? ?Flume 基本體系結(jié)構(gòu)

? ?Flume 源

? ?Flume 槽

? ? Flume 通道

? ?Flume 配置

Spark 基礎(chǔ)

? ?什么是 Apache Spark

? ?使用 Spark Shell

? ?RDDs( 可恢復(fù)的分布式數(shù)據(jù)集）

? ?Spark 里的函數(shù)式編程 Spark RDD

? ?RDD

? ?鍵值對(duì) RDD

? ?MapReduce

? ?其他鍵值對(duì) RDD 操作

編寫(xiě)和部署 Spark 應(yīng)用

? ?Spark 應(yīng)用對(duì)比 Spark Shell

? ?創(chuàng)建 SparkContext

? ?創(chuàng)建 Spark 應(yīng)用（Scala 和 Java）

? ?運(yùn)行 Spark 應(yīng)用

? ?Spark 應(yīng)用 WebUI

? ?配置 Spark 屬性

? ?運(yùn)行日志

Spark 的并行處理

? ?回顧：機(jī)群環(huán)境里的 Spark

? ?RDD 分區(qū)

? ?基于文件 RDD 的分區(qū)

? ?HDFS 和本地化數(shù)據(jù)

? ?執(zhí)行并行操作

? ?執(zhí)行階段及任務(wù)

Spark 緩存和持久化

? ?RDD 演變

? ?緩存

? ?分布式持久化

Spark 數(shù)據(jù)處理的常見(jiàn)模式

? ?常見(jiàn) Spark 應(yīng)用案例

? ?迭代式算法

? ?圖處理及分析

? ?機(jī)器學(xué)習(xí)

? ?例子：K－Means 預(yù)覽：Spark SQL

? ?Spark SQL 和 SQL Context

? ?創(chuàng)建 DataFrames

? ?變更及查詢 DataFrames

? ?保存 DataFrames

? ?Spark SQL 對(duì)比 Impala

參會(huì)指南

參會(huì)費(fèi)：￥7360

大會(huì)報(bào)名地址：https://www.huodongjia.com/event-951795901.html

————————————————————————————————

活動(dòng)家，一站式會(huì)議查詢與報(bào)名平臺(tái)，參會(huì)更放心！

官網(wǎng)：https://www.huodongjia.com/

門(mén)票/贊助事宜聯(lián)系：028-69761252