炼数成金 Spark大数据分析平台 8课

炼数成金 Spark大数据分析平台 8课

spark介绍：
2015年， Spark只用了一年多时间，已实现开源到火爆 ，亦逐渐显露出与通用大数据平台Hadoop的分庭抗争之势。在这个大背景下，在大数据领域时代，谁将是独领风骚?Spark无疑是最大的竞争者，无论是 2015 Spark技术峰会 ，还是国内的大数据大会，可以看到中国力量正在崛起，Spark最大的集群来自腾讯——8000个节点，单个Job最大分别是阿里巴巴和Databricks——1PB，震撼人心!同时，截止2015年6月，Spark的Contributor比2014年涨了3倍，达到730人;总代码行数也比2014年涨了2倍多，达到40万行，不但大量的互联网企业已经在使用或者正准备使用Spark，而且大量的电信、金融、证券和传统企业已经开始引入了Spark。

授课对象：
有Java开发经验或Scala开发经验，最好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。

收获预期：
深入理解Spark的运行原理
学会搭建Spark,hadoop集群环境
完全掌握Spark编程基础，了解Spark运维的基础知识
完成大数据入门，可逐渐转岗大数据相关职位。

Spark版本：Spark1.4

准备环境：
CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive，建议三台虚拟机。
然而作为一个高速发展中的开源项目，其部署过程中存在的门槛和挑战亦不可谓不大,本课程将主要介绍Spark1.4.0，引领大家进入大数据Spark入门。

课程目录：
1、Spark生态和安装部署
什么是Spark
Spark有什么
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone HA安装
Spark工具
Spark交互式工具spark-shell
Spark应用程序部署工具spark-submit
2、Spark编程模型和解析
Spark的编程模型
RDD的特点、操作、依赖关系
缓存策略
广播变量和累加器
Spark编程环境搭建
Spark编程实例
3、Spark运行架构和解析
Spark的运行架构
基本术语
运行架构(DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性)
Spark on Standalone运行过程
Spark on YARN 运行过程
Spark实例演示
Spark on Standalone实例演示
Spark on YARN实例演示
4、不得不说的hive
hive的运行架构
hive的安装
hive的实例演示
shark的简介
5、SparkSQL原理和实践
Spark的运行架构
Catalyst
sqlontext
hiveContext
ThriftServer和CLI
ThriftServer
CLI
SparkSQL的实例演示和编程
spark-shell实例演示
spark-sql实例演示
SparkSQL的编程
6、SparkStreaming原理和实践
SparkStreaming原理
SparkStreaming的原理
SparkStreaming的运行方式
DStream的特点和操作
SparkStreaming实例演示
网络数据演示
文本实例演示
Window操作演示
7、MLlib入门
什么是机器学习
MLlib的架构
Mllib实例演示
聚类算法演示
推荐系统演示
8、GraphX入门
图论基础
GraphX的架构
GraphX实例演示
图的基本操作
PageRank演示